Backtesting: cómo se hace y las cuatro formas de engañarte

Probar una idea contra datos del pasado parece la forma más objetiva de saber si funciona. Es también donde más fácil resulta engañarse sin ninguna intención de hacerlo, porque tres de las cuatro formas de equivocarse son invisibles desde dentro: el resultado sale bien y no hay nada que avise.

Cómo se prueba una idea contra datos pasados

Un backtest consiste en coger una regla, aplicarla a datos históricos y contar qué habría ocurrido. Es la única forma de tener alguna evidencia sobre una idea sin arriesgar dinero, y por eso merece hacerse bien.

Los cuatro pasos

Uno: escribir la regla de forma que no admita interpretación. «Comprar cuando parezca fuerte» no se puede probar. «Comprar cuando el precio cierre por encima de su media de 50 sesiones» sí. Es la misma exigencia que definía un método en la sesión anterior, y aquí se vuelve obligatoria: un ordenador no interpreta.

Dos: definir el universo y el periodo. Sobre qué activos y entre qué fechas. Las dos decisiones importan más de lo que parece, y la primera es donde vive uno de los cuatro problemas de esta sesión.

Tres: restar los costes. Horquilla, comisión y divisa, con las cifras del Capítulo 3. Un backtest sin costes no es optimista: es directamente otra cosa.

Cuatro: contar el resultado con sus tres acompañantes. Número de operaciones, esperanza y caída máxima. Sin los tres, el resultado no se puede juzgar.

Lo que un backtest sí puede decir y lo que no

Sí puede: descartar. Si una idea no habría funcionado en diez años de datos, es información sólida y barata. Descartar es para lo que mejor sirve.

No puede: confirmar. Que algo hubiera funcionado no significa que vaya a funcionar, y las cuatro secciones siguientes explican por qué el «hubiera funcionado» es además más frágil de lo que parece.

Con esa asimetría en mente, la actitud correcta ante un backtest propio que sale bien es la sospecha, no el entusiasmo.

Qué es el sesgo de anticipación

El sesgo de anticipación consiste en usar, para decidir en una fecha, información que en esa fecha todavía no se conocía. Es la primera de las cuatro formas y la más fácil de cometer sin darse cuenta.

El ejemplo que lo deja claro

Alguien prueba una regla que compra empresas cuyo beneficio anual superó cierto umbral. Coge una hoja con los beneficios de cada año y los precios de cada año, y cruza los dos.

El problema: el beneficio de 2024 no se publicó en 2024. Se publicó en algún momento de 2025, meses después del cierre del ejercicio. Al usar el dato del año 2024 para decidir durante 2024, la regla está comprando con información del futuro.

El backtest sale espectacular. Y es imposible de replicar, porque nadie podía saber en marzo de 2024 lo que se publicaría en marzo de 2025.

Las formas menos evidentes

Precios de cierre usados para decidir el mismo día. Si tu regla dice «compro cuando el precio cierra por encima de X», el cierre se conoce cuando el mercado ya cerró. Comprar «a ese cierre» no es posible: se compra en la apertura siguiente, a otro precio.

Datos revisados. Muchos datos económicos se publican y después se corrigen. Usar la cifra corregida para decidir en la fecha original es usar información que llegó después.

Composición de índices. Probar una estrategia sobre las empresas que hoy están en el S&P 500, aplicándola a hace diez años, es usar el conocimiento de qué empresas iban a entrar. Es también la puerta de entrada al tercer problema de esta sesión.

La comprobación

Una pregunta por cada dato que use la regla: ¿esta información estaba disponible públicamente en la fecha en que mi regla la usa?

Si la respuesta es «no» o «no estoy seguro», el resultado no vale. Y la respuesta correcta a esa pregunta es lo que da nombre a la sección siguiente.

Qué significa point-in-time y por qué lo cambia todo

Un dato point-in-time es aquel que sabe cuándo se supo. No guarda solo el valor, sino la fecha en que ese valor se hizo público y cada revisión posterior que tuvo.

La diferencia, con un caso

Imagina el beneficio del cuarto trimestre de una empresa.

Una base de datos normal guarda: cuarto trimestre de 2025 → 120 millones. Punto. Es el valor correcto, actualizado con la última revisión disponible.

Una base de datos point-in-time guarda algo más largo: el 15 de febrero de 2026 se publicó 118 millones; el 30 de abril de 2026 se revisó a 120 millones. Sabe qué se sabía en cada momento.

Con la primera, cualquier backtest que use beneficios arrastra sesgo de anticipación por construcción, y no hay forma de detectarlo desde dentro. Con la segunda, se puede reconstruir exactamente qué información había disponible el día que la regla decidía.

Por qué esto es tan caro y tan raro

Porque exige haber guardado el estado de los datos en cada momento, durante años, y no haberlos sobrescrito al llegar cada corrección. Es una decisión de diseño que hay que tomar al principio: si no se tomó, no se puede reconstruir después.

Es la razón por la que las bases de datos financieras point-in-time cuestan mucho dinero, y por la que la mayoría de los backtests que circulan gratis por internet no las usan.

Cómo se aplica esto fuera de un backtest

No hace falta programar nada para que este concepto sirva. Es exactamente el principio del cuaderno de bitácora de la sesión anterior: registrar lo que pensabas en el momento, sin editarlo después con lo que sabes ahora.

Un cuaderno donde lo escrito antes es intocable es una base de datos point-in-time de tus propias decisiones. Y es el único registro que permite juzgar un razonamiento sin que el resultado lo contamine.

Es también, por el mismo motivo, la razón por la que Volatly publica el escenario de cada evento antes de que ocurra y lo sella después. Un archivo construido a posteriori puede parecer excelente y no demuestra nada, porque no distingue entre haber acertado y haber sabido escribirlo después.

Qué es el sesgo de supervivencia

El sesgo de supervivencia consiste en estudiar solo lo que sigue existiendo, ignorando lo que desapareció por el camino. Es la tercera forma, y es la que más infla los resultados sin que nada lo indique.

El caso que ya viste

Vuelve a la primera sesión del curso. Los informes SPIVA de S&P Dow Jones Indices incluyen, deliberadamente, los fondos que se fusionaron o se liquidaron durante el periodo estudiado.

No es un detalle metodológico: es lo que hace que el dato signifique algo. Los fondos que van mal tienden a cerrarse o a absorberse, y un estudio que solo mirara a los supervivientes borraría precisamente a los peores.

Con esa corrección aplicada, el resultado fue que el 98% de los fondos de renta variable global en euros no batió a su índice a diez años. Sin la corrección, ese porcentaje habría sido notablemente más favorable, y falso.

Cómo aparece en un backtest casero

Probando sobre los índices de hoy. El S&P 500 de 2016 no contenía las mismas empresas que el de hoy. Las que quebraron o fueron compradas salieron. Probar una estrategia sobre la lista actual, aplicada a hace diez años, elimina automáticamente todos los desastres.

Es exactamente el caso del capítulo sobre índices: Hologic salió del S&P 500 en abril de 2026 al ser comprada. Cualquier prueba hecha con la lista posterior a esa fecha, aplicada a antes, no la incluiría.

Probando sobre las empresas que todavía cotizan. Las que se deslistaron, quebraron o fueron absorbidas simplemente no están en la base de datos. Y son, por definición, las que peor fueron.

Y la versión que no es un backtest

El mismo mecanismo funciona con personas, y es el de la sesión anterior sobre redes sociales.

Ves los resultados de quien sigue publicando. Quien perdió lo suficiente para dejarlo no publica nada, y por tanto no aparece en tu muestra. La impresión que te llevas es de una tasa de éxito que no existe, y no porque nadie mienta: porque los fracasos se autoeliminan del recuento.

La primera sesión del curso daba la cifra que cuantifica esto: en el estudio de Taiwán, más del 75% de quienes hacían compraventa en el mismo día lo dejaba antes de dos años. Esa mayoría no está en ningún foro contando cómo le fue.

Cuántas operaciones hacen falta para que un backtest signifique algo

La cuarta forma de engañarse es la del capítulo anterior, aplicada aquí: probar sobre pocas operaciones y tratar el resultado como una conclusión.

El recordatorio, con los números

Un método que acertó siete de diez veces tiene un intervalo de confianza al 95% que va del 39,7% al 89,2%. Con cien operaciones y el mismo 70%, el intervalo se estrecha al 60,4% – 78,1%.

Un backtest con veinte operaciones no dice nada, por espectacular que sea el resultado. Y es muy fácil llegar a veinte sin darse cuenta: una regla restrictiva sobre cinco años puede generar exactamente esa cantidad.

El problema que se acumula al anterior

Aquí está la parte que hace de esto la cuarta forma y no una repetición.

Cuantas más condiciones tenga una regla, menos operaciones genera y más se ajusta a las que sí genera. Las dos cosas empeoran a la vez: la muestra se reduce justo cuando el sobreajuste aumenta.

Es lo que veíamos en el capítulo del gráfico: una estrategia con parámetros muy específicos y pocas operaciones está describiendo el pasado, no explicándolo. Y no es un problema de aficionados: Park e Irwin señalaron precisamente la minería de datos y la selección posterior de reglas como el motivo por el que la evidencia académica favorable al análisis técnico no puede darse por concluyente.

Las tres comprobaciones antes de creerse un backtest

¿Cuántas operaciones generó? Por debajo de cincuenta, el intervalo es tan ancho que el resultado es compatible con casi cualquier cosa.

¿Cuántas configuraciones probé antes de quedarme con esta? Si fueron veinte, encontrar una que funcione estaba garantizado por azar. Ese número casi nadie lo apunta, y es el que más informa.

¿Aguanta en un periodo que no usé para construirlo? Es la comprobación más útil de todas: separar unos años, construir la regla sin mirarlos, y probarla ahí al final. Si funciona en el periodo que no viste, empieza a haber algo.

Lo que hay que recordar

• Un backtest sirve para descartar, no para confirmar: que algo hubiera funcionado no significa que vaya a funcionar.
• El sesgo de anticipación es usar en una fecha información que en esa fecha no se conocía, y su forma más común es no darse cuenta de cuándo se publicó cada dato.
• Un dato point-in-time sabe cuándo se supo, y es el mismo principio del cuaderno de bitácora: lo escrito antes no se toca.
• El sesgo de supervivencia borra a los peores del recuento, y funciona igual con fondos, con empresas deslistadas y con personas que dejaron de publicar.

Hito alcanzado

Con esto cierras el Capítulo 8. Tienes tu plan en una página, que es el tercero y último de los artefactos del curso, y con él los tres completos: qué dinero es y cuándo lo necesitas, cuánto arriesgas por operación, y cómo decides.

Sabes además por qué tu propia cabeza sabotea todo lo anterior, qué dicen los estudios sobre operar de más, y las cuatro formas de engañarse probando una idea contra el pasado.

El Capítulo 9 es el último y sube el nivel: cómo se forma el precio por dentro, qué son las opciones en castellano llano, y qué dice la evidencia sobre los límites del aprendizaje automático aplicado a mercados.

Relacionado: qué mide cada indicador · rachas, caídas y tamaño de muestra