Fare backtesting significa simulare una strategia su dati passati per vedere che cosa avrebbe reso. Strumento indispensabile, e macchina per autoingannarsi di temibile efficacia.
L'overfitting: il nemico numero uno
Con abbastanza parametri e tentativi si può SEMPRE trovare una regola che avrebbe funzionato magnificamente sul passato. Questo non prova nulla: si è semplicemente memorizzato il rumore dei dati storici anziché cogliere un meccanismo reale. Una strategia sovradattata crolla non appena incontra dati nuovi.
I bias che falsano tutto
- Il bias di sopravvivenza: testare sulle imprese ancora quotate oggi esclude meccanicamente tutte quelle fallite. Il risultato è artificialmente lusinghiero.
- Il look-ahead bias: usare, a una data precisa, un'informazione non ancora pubblica (un utile pubblicato più tardi).
- Il data snooping: testare 500 varianti e tenere solo la migliore; per costruzione è buona per caso.
- La dimenticanza dei costi: ignorare commissioni, spread e imposte trasforma una strategia perdente in vincente sulla carta.
La disciplina che salva
Separi i Suoi dati: costruisca la strategia su un periodo e la testi su un periodo MAI guardato (validazione fuori campione). Se la performance crolla su questo secondo periodo, aveva sovradattato. È sgradevole, e infinitamente meno costoso che scoprirlo con denaro vero.
In Earnnest
Il motore di backtest permette di testare una strategia sullo storico. Il programma PRE di Earnnest è stato del resto rifatto proprio per eliminare il bias di sopravvivenza: il che dice quanto il tema sia preso sul serio.
À retenir
- ✓Un backtest brillante non prova nulla: può aver memorizzato soltanto rumore.
- ✓Bias di sopravvivenza, look-ahead, data snooping, costi dimenticati: i quattro killer.
- ✓Validi sempre su un periodo fuori campione, mai guardato durante la costruzione.