Saltar al contenido

Sesión 29 de 30 97%

Capítulo 9 · Terreno avanzado

Factores, colas gruesas y los límites del aprendizaje automático

· · · 18 min de lectura

La narración llega más adelante. Por ahora el curso es texto, y el texto está completo.

Última sesión del temario, y la más incómoda para el sector. De 452 predictores de rentabilidad publicados en revistas académicas, el 65% no supera un contraste estadístico básico cuando alguien se molesta en replicarlos. Esta sesión cuenta ese trabajo, por qué los mercados producen más extremos de los que ningún modelo normal predice, y dónde están los límites reales del aprendizaje automático.

Qué son los factores y qué dice la evidencia sobre ellos

Un factor es una característica medible de una empresa que, según algún estudio, se asocia con rentabilidades futuras distintas. Los clásicos son el tamaño, el precio relativo respecto a las cuentas, y la inercia del propio precio.

La idea original

La lógica es razonable. Si al ordenar todas las empresas por una característica concreta —por ejemplo, de menor a mayor tamaño— resulta que un extremo ha rendido sistemáticamente más que el otro durante décadas, eso es un patrón que merece explicación.

Durante cuarenta años se publicaron cientos de esos patrones. Cada uno con su artículo, su tabla y su significación estadística. El conjunto llegó a tener nombre propio en el sector: el zoo de factores.

Lo que pasó cuando alguien intentó replicarlos

El resultado que ordena esta sesión:

Kewei Hou, Chen Xue y Lu Zhang recopilaron 452 anomalías publicadas en la literatura de finanzas y contabilidad, y las replicaron una a una con criterios metodológicos homogéneos. Publicaron el resultado en 2020 en The Review of Financial Studies.

Contraste aplicado Anomalías que NO lo superan
Un solo test, con un valor t de 1,96 65%
Test múltiple, con un valor t de 2,78 82,1%

Y dentro de eso, un dato demoledor: en la categoría de fricciones de negociación —variables relacionadas con la liquidez— el 96% no supera el contraste básico.

Hay una tercera conclusión que se suele omitir al citar el estudio y que importa tanto como las otras dos: incluso las anomalías que sí replican tienen magnitudes económicas mucho menores que las reportadas originalmente. No es solo que la mayoría desaparezca: es que las supervivientes son más pequeñas de lo que prometían.

Los propios autores resumen su conclusión así: los mercados de capitales son más eficientes de lo que se reconocía previamente.

Por qué pasó esto

Por el mecanismo que ya conoces del capítulo anterior, aplicado a escala de una disciplina entera.

Campbell Harvey, Yan Liu y Heqing Zhu recopilaron en 2016 una lista de 316 trabajos con factores, y plantearon el problema con precisión: si se han probado cientos de características sobre los mismos datos, el umbral estadístico habitual ya no vale. Concluyeron que el listón creíble para un factor nuevo debería ser un valor t de aproximadamente 3,0, no el 1,96 convencional.

Es exactamente la minería de datos que Park e Irwin señalaron en el capítulo del gráfico, y el sobreajuste que cerraba el capítulo anterior. Con suficientes candidatos probados, encontrar alguno que parezca funcionar está garantizado por azar, y la costumbre de publicar solo los resultados positivos hace el resto.

Qué se lleva de aquí alguien que invierte

No que los factores sean un fraude. Algunos replican, y los autores del estudio lo dicen.

Lo que se lleva es un criterio: cuando alguien te presente un patrón que «históricamente ha funcionado», la pregunta correcta no es cuánto rindió, sino cuántos patrones parecidos se probaron antes de encontrar ese. Ese número casi nunca se publica, y sin él el hallazgo no se puede evaluar.

Por qué la distribución de retornos no es normal

Casi todos los modelos financieros clásicos asumen que las variaciones diarias de precio siguen una campana de Gauss: la mayoría de los días cerca del centro, los extremos cada vez más raros según se alejan.

Esa suposición es cómoda, hace las matemáticas manejables, y es falsa de una forma que importa mucho.

Por qué se usa igualmente

Por dos razones honestas. Una campana permite resolver problemas con fórmulas cerradas en vez de con simulaciones, y funciona razonablemente bien para el 95% de los días.

El problema es que el 5% restante es donde se pierde el dinero. Un modelo que describe bien lo normal y mal lo extremo es exactamente el peor modelo posible para gestionar riesgo, porque falla justo cuando se le necesita.

La prueba, con la cuenta hecha

Supongamos que una acción tiene una variación diaria típica del 1%, que es un valor perfectamente corriente. Bajo una campana clásica, con 252 sesiones al año, esto es lo que cabría esperar:

Caída en un solo día Frecuencia según la campana clásica
−3% Una vez cada 3 años
−4% Una vez cada 125 años
−5% Una vez cada 13.843 años
−6% Una vez cada 4 millones de años

Ahora contrasta eso con la realidad. Cualquiera que siguiera los mercados en 2008, en marzo de 2020 o en octubre de 1987 vio varias caídas diarias del 5% o más en cuestión de semanas.

Sucesos que el modelo sitúa en la escala de las eras geológicas ocurren varias veces por década. No es que el modelo se quede corto: es que está describiendo otro mundo.

Qué significa que las colas sean gruesas

La «cola» de una distribución es cada uno de sus extremos. Decir que los mercados tienen colas gruesas significa que los sucesos muy raros ocurren bastante más a menudo de lo que la campana predice, y con más intensidad.

Las tres consecuencias prácticas

Uno: el riesgo calculado con modelos normales está subestimado. Y no un poco: como acabas de ver, por órdenes de magnitud en los extremos. Cualquier medida de riesgo que asuma normalidad va a resultar optimista precisamente el día que importe.

Dos: la diversificación falla justo cuando hace falta. En condiciones normales, activos distintos se mueven de forma distinta. En un episodio extremo, tienden a caer todos a la vez. Es lo que el Capítulo 2 llamaba riesgo sistemático, y las colas gruesas explican por qué aparece concentrado en unos pocos días.

Tres: unos pocos días deciden el resultado de años. Si los extremos son más frecuentes y más grandes de lo que un modelo suave predice, entonces el resultado de un periodo largo depende desproporcionadamente de un puñado de sesiones. Es la misma concentración que el capítulo del evento medía alrededor de los resultados empresariales, generalizada.

Lo que esto valida de todo lo anterior

Tres cosas del curso dejan de ser prudencia genérica y pasan a tener fundamento:

La matemática de la recuperación. Si las caídas extremas son más frecuentes de lo que parece, la tabla del Capítulo 7 —donde perder la mitad exige doblar lo que queda— no es un escenario remoto.

El tamaño de posición conservador. El capítulo sobre riesgo insistía en quedarse por debajo del óptimo teórico. Las colas gruesas explican por qué: el óptimo se calcula con supuestos que subestiman los extremos, así que el óptimo real está más abajo del que sale de la fórmula.

Y la corrección de Bollinger. Su regla 14 decía que las bandas contienen el 90% de los datos y no el 95%, y que la distribución de precios no es normal. Aquello parecía un matiz técnico; aquí está su explicación completa, y aquella diferencia del 5% significa que los movimientos extremos ocurren el doble de veces de lo que la teoría sugería.

Qué puede y qué no puede hacer el aprendizaje automático en mercados

El aprendizaje automático encuentra patrones en datos sin que nadie le diga qué buscar. Funciona extraordinariamente bien en muchos campos, y los mercados tienen tres características que lo vuelven mucho más difícil de lo que parece.

Los tres problemas

El sistema es no estacionario. Reconocer gatos en fotografías funciona porque un gato de hace quince años y uno de hoy son idénticos. Un mercado no: los participantes aprenden, las reglas cambian, y un patrón descubierto y explotado deja de funcionar precisamente por haberse descubierto. Es la erosión que el capítulo del gráfico documentaba con Park e Irwin.

La proporción de señal es minúscula. En un problema de reconocimiento de imágenes, prácticamente toda la información del archivo es relevante. En una serie de precios, la enorme mayoría del movimiento diario es ruido. Un sistema que busca patrones en datos con muy poca señal encuentra patrones igualmente, y son los del ruido.

Y los datos son escasos. Suena contraintuitivo, porque hay millones de precios registrados. Pero si lo que quieres predecir son eventos que ocurren cuatro veces al año por empresa, treinta años de historia son ciento veinte casos. Ciento veinte, no millones. Y ya sabes por el Capítulo 7 qué ancho tiene un intervalo de confianza con muestras así.

Lo que sí hace bien

Merece decirse, porque el escepticismo tampoco puede ser total.

Procesar cantidades de información que ninguna persona puede leer. Miles de documentos, transcripciones, publicaciones. Ahí la ventaja es de escala y es real.

Encontrar relaciones entre muchas variables a la vez, donde una persona solo puede sostener unas pocas en la cabeza.

Y aplicar un criterio de forma consistente, sin cansarse, sin sesgo de disposición y sin miedo a quedarse fuera. Nada de lo del capítulo anterior le afecta.

Lo que no hace es adivinar. Y la diferencia entre esas dos cosas es todo el contenido de la sección siguiente.

Por qué el sobreajuste es el problema central

Todo lo anterior converge aquí, y hay un artículo que lo formuló con la contundencia suficiente como para que se publicara en una revista de matemáticas en lugar de en una de finanzas.

El artículo

David Bailey, Jonathan Borwein, Marcos López de Prado y Qiji Jim Zhu publicaron en 2014, en las Notices of the American Mathematical Society, un trabajo titulado «Pseudomatemáticas y charlatanería financiera».

Su demostración central es esta: un rendimiento simulado alto se consigue fácilmente probando un número relativamente pequeño de configuraciones alternativas. No hacen falta millones de intentos. Con unas pocas decenas ya se encuentra algo que parece brillante.

Y de ahí sale el corolario que convierte el hallazgo en algo utilizable: cuantas más configuraciones se prueban, mayor es la probabilidad de que el resultado esté sobreajustado.

El problema que señalan, y que es de transparencia

Los autores dan además el diagnóstico práctico, y es demoledor por lo simple:

Como la mayoría de analistas y académicos rara vez informan de cuántas configuraciones probaron, los inversores no pueden evaluar el grado de sobreajuste de lo que se les ofrece.

No es que la información esté mal. Es que falta el único dato que permitiría juzgar el resto.

De ahí sale la pregunta que cierra el capítulo entero y que sirve para el resto de tu vida como inversor: cuando alguien te enseñe un resultado histórico espectacular, la pregunta no es cuánto rindió. Es ¿cuántas versiones probaste antes de quedarte con esta?

Es la misma pregunta que la última sesión del capítulo anterior ponía como segunda comprobación de un backtest, y es la que casi nadie responde.

Por qué esto no es un problema solo de aficionados

Conviene subrayarlo, porque es la parte que más incomoda.

Las 452 anomalías de Hou, Xue y Zhang estaban publicadas en revistas académicas revisadas por pares. Los 95 estudios de Park e Irwin también. El artículo de Bailey y López de Prado dice explícitamente que el sobreajuste de backtests es habitual no solo en las ofertas de asesores financieros, sino también en los artículos de investigación en matemática financiera.

El sobreajuste no distingue entre un aficionado con una hoja de cálculo y un catedrático con un clúster de ordenadores. Distingue entre quien publica cuántas cosas probó y quien no.

Y por qué esto es el cierre correcto del temario

Porque es el criterio que unifica todo lo que has leído en treinta sesiones.

El capítulo del riesgo puso la cifra de Volatly sobre la mesa —70,6% de acierto sobre una muestra de 568 eventos, con un intervalo de confianza de Wilson al 95% que va del 66,7% al 74,2% (Cifras a fecha de )— y explicó por qué un porcentaje sin muestra ni intervalo ni fallos incluidos no es un dato. El capítulo del método pasó por el archivo sellado antes del evento, y por qué uno construido después no demuestra nada. Y termina aquí, con la única pregunta que falta: cuántas versiones se probaron.

Las tres preguntas juntas —cuál es la muestra, están los fallos dentro, cuántas configuraciones se probaron— son lo que separa una afirmación de un dato. Sirven para juzgarnos a nosotros exactamente igual que a cualquier otro, y ese es el punto.

Lo que hay que recordar

  • De 452 anomalías publicadas, el 65% no supera un contraste básico al replicarlas, y el 82,1% falla con el umbral de test múltiple; incluso las que replican son más pequeñas de lo reportado.
  • Bajo una campana clásica, una caída diaria del 5% debería ocurrir una vez cada 13.843 años; en la práctica ocurren varias por década.
  • El aprendizaje automático choca con tres muros en mercados: el sistema cambia, la señal es minúscula y los datos relevantes son escasos.
  • Bailey y López de Prado demostraron que basta probar unas pocas decenas de configuraciones para obtener un resultado histórico espectacular, y que casi nadie publica cuántas probó.

Hito alcanzado

Con esto cierras el Capítulo 9 y el temario completo. Puedes leer una nota institucional o un artículo académico y separar lo sólido del humo, y sabes qué preguntas hacer para conseguirlo: cuál es la muestra, cuál es el intervalo, están los fallos incluidos, y cuántas versiones se probaron antes de quedarse con esta.

Sabes además cómo se forma un precio cuando el mercado está cerrado, qué es una opción y por qué comprarla y venderla no son operaciones simétricas, por qué un producto apalancado se decae, y qué han decidido los reguladores sobre los que más pérdidas causan.

Queda una última sesión, la de cierre, que recoge qué has aprendido, qué queda deliberadamente fuera, y dónde seguir con fuentes primarias.

Relacionado: backtesting y las cuatro formas de engañarte · rachas, caídas y tamaño de muestra

Fuentes

  1. Hou, K., Xue, C. y Zhang, L. (2020), 'Replicating Anomalies', The Review of Financial Studies 33(5), 2019-2133: de 452 anomalías recopiladas, el 65% no supera el contraste de un solo test con un valor t absoluto de 1,96; en la categoría de fricciones de negociación, el 96% no lo supera
  2. Hou, Xue y Zhang (2020): con el umbral de test múltiple de 2,78 al 5% de significación, la tasa de fallo sube al 82,1%, y las anomalías que sí replican tienen magnitudes económicas mucho menores que las reportadas originalmente
  3. Harvey, C. R., Liu, Y. y Zhu, H. (2016), '…and the Cross-Section of Expected Returns': recopilan 316 trabajos con factores y concluyen que, ajustando por el volumen de contrastes realizados, el umbral creíble para un factor nuevo debería ser un valor t de aproximadamente 3,0
  4. Bailey, D. H., Borwein, J. M., López de Prado, M. y Zhu, Q. J. (2014), 'Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance', Notices of the American Mathematical Society 61(5), 458-471
  5. Cálculo propio de la frecuencia teórica de movimientos extremos bajo una distribución normal con volatilidad diaria del 1% y 252 sesiones anuales

Escribe y revisa Volatly, la empresa que ordena el contexto de los eventos corporativos y deja su archivo abierto para revisarlo después.

Quién está detrás de Volatly Cómo se mide cada perspectiva

Aviso. Esto es material formativo, no asesoramiento financiero. No hay recomendación personalizada: nadie ha preguntado por tu situación ni por tus objetivos. Volatly ordena el contexto y publica su archivo con los aciertos y los fallos; la decisión y el riesgo son de quien invierte.

← Portada del curso