Backtesting heißt, eine Strategie auf vergangenen Daten zu simulieren, um zu sehen, was sie erbracht hätte. Ein unverzichtbares Werkzeug — und eine erschreckend wirksame Maschine zur Selbsttäuschung.
Überanpassung (Overfitting): Feind Nummer eins
Mit genügend Parametern und Versuchen findet man IMMER eine Regel, die in der Vergangenheit großartig funktioniert hätte. Das beweist nichts: Man hat lediglich das Rauschen der historischen Daten auswendig gelernt, statt einen echten Mechanismus zu erfassen. Eine überangepasste Strategie bricht zusammen, sobald sie auf neue Daten trifft.
Die Verzerrungen, die alles verfälschen
- Die Überlebensverzerrung: An heute noch notierten Unternehmen zu testen schließt mechanisch alle aus, die insolvent wurden. Das Ergebnis ist künstlich schmeichelhaft.
- Der Look-ahead-Bias: zu einem gegebenen Datum eine Information nutzen, die noch nicht öffentlich war (ein später veröffentlichter Gewinn).
- Data Snooping: 500 Varianten testen und nur die beste behalten — konstruktionsbedingt ist sie zufällig gut.
- Kosten vergessen: Gebühren, Spread und Steuern zu ignorieren macht aus einer verlustreichen Strategie auf dem Papier eine gewinnbringende.
Die Disziplin, die rettet
Trennen Sie Ihre Daten: Bauen Sie die Strategie auf einem Zeitraum und prüfen Sie sie auf einem NIE angesehenen Zeitraum (Out-of-Sample-Validierung). Bricht die Leistung auf diesem zweiten Zeitraum ein, hatten Sie überangepasst. Das ist unangenehm — und unendlich billiger, als es mit echtem Geld zu entdecken.
In Earnnest
Die Backtest-Engine erlaubt es, eine Strategie an der Historie zu prüfen. Earnnests PRE-Programm wurde übrigens eigens umgebaut, um die Überlebensverzerrung zu beseitigen — das zeigt, wie ernst das Thema genommen wird.
À retenir
- ✓Ein glänzender Backtest beweist nichts: Er kann nichts als Rauschen gelernt haben.
- ✓Überlebensverzerrung, Look-ahead, Data Snooping, vergessene Kosten: die vier Killer.
- ✓Validieren Sie stets auf einem Out-of-Sample-Zeitraum, der beim Bauen nie angesehen wurde.