Backtester, c'est simuler une stratégie sur des données passées pour voir ce qu'elle aurait donné. Outil indispensable, et machine à s'illusionner d'une redoutable efficacité.
Le sur-apprentissage (overfitting) : l'ennemi numéro un
Avec assez de paramètres et de tentatives, on peut TOUJOURS trouver une règle qui aurait magnifiquement fonctionné sur le passé. Cela ne prouve rien : on a simplement mémorisé le bruit des données historiques plutôt que capté un mécanisme réel. Une stratégie sur-apprise s'effondre dès qu'elle rencontre des données nouvelles.
Les biais qui faussent tout
- Le biais de survivance : tester sur les entreprises encore cotées aujourd'hui exclut mécaniquement toutes celles qui ont fait faillite. Le résultat est artificiellement flatteur.
- Le look-ahead bias : utiliser, à une date donnée, une information qui n'était pas encore publique (un bénéfice publié plus tard).
- Le data snooping : tester 500 variantes et ne retenir que la meilleure, par construction, elle est bonne par hasard.
- L'oubli des coûts : ignorer frais, spread et impôts transforme une stratégie perdante en gagnante sur le papier.
La discipline qui sauve
Séparez vos données : construisez la stratégie sur une période, et testez-la sur une période JAMAIS regardée (validation hors échantillon). Si la performance s'effondre sur cette seconde période, vous aviez sur-appris. C'est désagréable, et infiniment moins coûteux que de le découvrir avec de l'argent réel.
Dans Earnnest
Le moteur de backtest permet de tester une stratégie sur l'historique. Le programme PRE d'Earnnest a d'ailleurs été refondu spécifiquement pour éliminer le biais de survivance : c'est dire si le sujet est sérieux.
À retenir
- ✓Un backtest brillant ne prouve rien : il peut n'avoir mémorisé que du bruit.
- ✓Biais de survivance, look-ahead, data snooping, oubli des coûts : les quatre tueurs.
- ✓Validez toujours sur une période hors échantillon, jamais regardée pendant la construction.