Hacer backtesting es simular una estrategia sobre datos pasados para ver qué habría dado. Herramienta imprescindible, y máquina de autoengaño de una eficacia temible.
El sobreajuste (overfitting): el enemigo número uno
Con suficientes parámetros e intentos, SIEMPRE se puede encontrar una regla que habría funcionado magníficamente en el pasado. Eso no prueba nada: simplemente se ha memorizado el ruido de los datos históricos en lugar de captar un mecanismo real. Una estrategia sobreajustada se derrumba en cuanto se encuentra con datos nuevos.
Los sesgos que lo falsean todo
- El sesgo de supervivencia: probar con las empresas todavía cotizadas hoy excluye mecánicamente todas las que quebraron. El resultado es artificialmente halagüeño.
- El look-ahead bias: usar, en una fecha dada, una información que aún no era pública (un beneficio publicado más tarde).
- El data snooping: probar 500 variantes y quedarse solo con la mejor; por construcción, es buena por azar.
- El olvido de los costes: ignorar comisiones, horquilla e impuestos convierte una estrategia perdedora en ganadora sobre el papel.
La disciplina que salva
Separe sus datos: construya la estrategia sobre un periodo y pruébela en un periodo JAMÁS mirado (validación fuera de muestra). Si el rendimiento se derrumba en ese segundo periodo, había sobreajustado. Es desagradable, e infinitamente menos costoso que descubrirlo con dinero real.
En Earnnest
El motor de backtest permite probar una estrategia sobre el histórico. El programa PRE de Earnnest fue rediseñado precisamente para eliminar el sesgo de supervivencia: eso indica lo en serio que se toma el asunto.
À retenir
- ✓Un backtest brillante no prueba nada: puede no haber memorizado más que ruido.
- ✓Sesgo de supervivencia, look-ahead, data snooping, olvido de costes: los cuatro asesinos.
- ✓Valide siempre en un periodo fuera de muestra, jamás mirado durante la construcción.