Probability of Backtest Overfitting: Hält die beste Variante, was der Backtest verspricht?

Advanced11 min read · 10 sources

Die Probability of Backtest Overfitting (PBO) misst, wie oft die im Backtest beste Variante einer Strategie auf anderen Daten nur Mittelmaß oder schlechter ist. Sie prüft also nicht eine einzelne Kennzahl, sondern das Auswahlverfahren selbst: Lohnt es sich, aus vielen getesteten Parametern den besten zu nehmen? Geschätzt wird sie mit der Combinatorially Symmetric Cross-Validation (CSCV) von Bailey, Borwein, López de Prado und Zhu. Hier lernst du das Verfahren Schritt für Schritt, mit einem Beispiel zum Nachrechnen.

Die Frage hinter der PBO

Wer eine Strategie entwickelt, probiert Varianten aus: andere Fensterlängen, Schwellen oder Anlagen. Am Ende steht meist die Variante mit der höchsten Sharpe Ratio im Backtest. Der Artikel Backtest-Overfitting zeigt, warum diese beste Variante fast immer zu gut aussieht. Die Deflated Sharpe Ratio korrigiert deshalb die Sharpe Ratio der Siegerin für die Zahl der Versuche.

Die PBO stellt eine andere Frage: Was passiert mit der Siegerin auf Daten, die bei der Auswahl keine Rolle gespielt haben? Liegt sie dort weiter vorn, war die Auswahl wertvoll. Fällt sie regelmäßig ins Mittelfeld oder darunter, hat die Suche vor allem Zufall gefunden. Genau diesen Anteil der Fälle schätzt die PBO. Sie braucht dafür keine Annahme über die Verteilung der Renditen und keine Schätzung der Zahl unabhängiger Versuche, nur die Renditen aller getesteten Varianten über denselben Zeitraum.

Ein einzelner Hold-out-Zeitraum, also ein zurückgehaltenes Stück Daten am Ende, beantwortet die Frage nur einmal und hängt stark davon ab, welche Jahre zufällig im Test landen. Laut Bailey u. a. (2016) sind solche Standardverfahren bei Backtests von Anlagestrategien unzuverlässig und ungenau. CSCV teilt die Daten deshalb nicht einmal, sondern auf alle möglichen symmetrischen Arten.

CSCV Schritt für Schritt

Ausgangspunkt ist eine Matrix: T Perioden (etwa Monate) in den Zeilen, N Varianten in den Spalten, in jeder Zelle die Rendite einer Variante in einer Periode. Dann folgen vier Schritte nach Bailey u. a. (2016):

1. Blöcke bilden: Die T Perioden werden in S gleich lange, zeitlich zusammenhängende Blöcke geteilt, S ist gerade. Zusammenhängend heißt: Monate, die nebeneinander liegen, bleiben zusammen, damit Trends und Krisen im Block erhalten bleiben.
2. Alle Teilungen bilden: Jede Auswahl von S/2 Blöcken ist eine Teilung. Die gewählten Blöcke bilden den In-Sample-Teil (innen), die übrigen den Out-of-Sample-Teil (außen). Beide Hälften sind gleich groß, und zu jeder Teilung gibt es die spiegelbildliche, daher das Wort symmetrisch.
3. Auswählen und prüfen: In jeder Teilung rechnet man für jede Variante eine Kennzahl innen und außen, meist die Sharpe Ratio. Die innen beste Variante n* wird ausgewählt, und man notiert ihren Rang außen unter allen N Varianten.
4. Zählen: Die PBO ist der Anteil der Teilungen, in denen n* außen höchstens im Median liegt.

Der Logit des Rangs macht aus dem Rang eine Zahl, die um null symmetrisch ist. Liegt die Siegerin außen über dem Median, ist λ positiv, sonst null oder negativ. Die Verteilung der λ über alle Teilungen zeigt mehr als die PBO allein: Häufen sich die Werte weit rechts, hält die Auswahl außerhalb fast immer; liegt der Schwerpunkt links von null, ist sie schlechter als ein Münzwurf.

Rechenbeispiel mit vier Varianten

Vier Varianten A bis D einer Trendregel, vier gleich lange Blöcke. Damit sich alles im Kopf rechnen lässt, ist die Kennzahl hier die durchschnittliche Monatsrendite statt der Sharpe Ratio. Bei gleich langen Blöcken ist der Durchschnitt einer Hälfte einfach das Mittel ihrer beiden Blockwerte. A, B und C hatten je einen sehr guten Block, D läuft ruhig durch:

Das Beispiel zeigt den typischen Mechanismus: Wer innen vorn liegt, verdankt das oft einem einzigen glücklichen Block. Dieser Block fehlt außen, und die Siegerin fällt zurück. Mit vier Varianten kann der Rang nur vier Werte annehmen, und mit sechs Teilungen ist jede einzelne ein Sechstel der PBO. In der Praxis rechnet man deshalb mit mehr Blöcken und mehr Varianten; bei 16 Blöcken sind es 12.870 Teilungen.

Was die Kennzahlen zeigen

Neben der PBO selbst lohnen drei weitere Auswertungen derselben Teilungen, die Bailey u. a. (2016) ebenfalls vorschlagen:

• Leistungsabfall: Man trägt für jede Teilung die Kennzahl der Siegerin innen gegen dieselbe Kennzahl außen ab und legt eine Regressionsgerade hindurch. Eine flache Gerade heißt, dass ein guter Wert innen nichts über außen verrät; eine fallende, dass gute Werte innen sogar schlechte außen ankündigen. Im Beispiel fällt die Gerade mit einer Steigung von −1,06.
• Verlustwahrscheinlichkeit: der Anteil der Teilungen, in denen die Siegerin außen einen Verlust bringt, bei der Sharpe Ratio also einen Wert unter null. Im Beispiel ist das eine von sechs Teilungen, also 16,7 %.
• Verteilung der Logits: Ihr Schwerpunkt und ihre Form zeigen, ob die PBO knapp oder deutlich ausfällt.

Für die Einordnung hilft ein Vergleichswert. Haben alle Varianten in Wahrheit dieselbe Qualität, verrät der Rang innen nichts über den Rang außen: Die Siegerin landet außen ebenso oft über wie unter dem Median, die PBO liegt um 50 %. Werte deutlich darüber sind kein Rechenfehler. Weil innen und außen zusammen immer den ganzen Zeitraum ergeben, geht ein Vorsprung innen bei ähnlicher Gesamtleistung zwangsläufig mit einem Rückstand außen einher. Dann ist die Auswahl schlechter als Zufall.

Die Grenzen dieser Tabelle sind eine Konvention von Portfolio Lab, kein Ergebnis der Forschung. 50 % ist der Wert bei reinem Zufall, 10 % entspricht einer üblichen Irrtumswahrscheinlichkeit bei statistischen Tests.

Für Fortgeschrittene: Annahmen und Eigenschaften

• Symmetrie: Jeder Block ist in genau der Hälfte der Teilungen innen. Damit bekommt kein Zeitraum ein Übergewicht, und beide Hälften haben dieselbe Länge, sodass Kennzahlen innen und außen gleich genau geschätzt sind.
• Wahl der Blöcke: Mehr Blöcke ergeben mehr Teilungen, aber kürzere Blöcke. Sehr kurze Blöcke zerschneiden Trends und Krisen; sehr wenige Blöcke machen die PBO grob. Mit 16 Blöcken und 20 Jahren Monatsdaten ist jeder Block 15 Monate lang.
• Beliebige Kennzahl: CSCV funktioniert mit jeder Kennzahl, die sich je Hälfte rechnen lässt. Die Sharpe Ratio ist üblich; die Rendite allein bevorzugt riskante Varianten.
• Abhängige Teilungen: Die 12.870 Teilungen überlappen stark. Die PBO ist deshalb eine Schätzung ohne einfachen Standardfehler, und ein einzelner Crash-Block prägt die Hälfte aller Teilungen.
• Ähnliche Varianten: Anders als bei der Deflated Sharpe Ratio muss man die effektive Zahl unabhängiger Versuche nicht kennen, gezählt wird nur der Rang. Identische Varianten teilen sich ihren Rang (mittlerer Rang).
• Bayessche Alternative: Witzany (2021) schlägt einen bayesschen Ansatz vor, der Overfitting mit einer Markov-Chain-Monte-Carlo-Simulation misst, und testet ihn an technischen Handelsregeln.

Was die Forschung zeigt

Bailey u. a. (2016) führten CSCV ein und zeigen, dass das Verfahren die Wahrscheinlichkeit eines überangepassten Backtests genau schätzt. Den Hintergrund liefert Bailey u. a. (2014): Mit vielen Varianten entsteht schnell eine hohe Sharpe Ratio im Backtest, und die Autoren leiten ab, wie lang ein Backtest bei gegebener Zahl von Varianten mindestens sein muss. Bailey und López de Prado (2021) fassen für ein breites Publikum zusammen, warum aus historischen Daten gewonnene optimale Strategien oft statistische Trugbilder sind, die in der Praxis schlecht abschneiden.

Verwandte Werkzeuge setzen an anderer Stelle an. Die Deflated Sharpe Ratio von Bailey und López de Prado (2014) korrigiert die Kennzahl der Siegerin für Zahl und Streuung der Versuche, Harvey und Liu (2015) rechnen sie mit Verfahren für Mehrfachtests ab. Der Reality Check von White (2000) und der SPA-Test von Hansen (2005) prüfen, ob das beste von vielen Modellen einen Vergleichsmaßstab mehr als zufällig schlägt. Arnott u. a. (2019) entwickeln ein Protokoll für Backtests, das für maschinelles Lernen und quantitative Forschung allgemein gilt, und López de Prado (2018) beschreibt Backtests und Kreuzvalidierung bei Finanzdaten ausführlich.

Grenzen und typische Fehler

• Nur das Raster zählt: Die PBO beurteilt die Auswahl unter den Varianten, die man ihr gibt. Modelle, Zeiträume und Anlagen, die man vorher verworfen hat, sieht sie nicht.
• Zu wenige Varianten: Mit zwei oder drei Varianten kann der Rang kaum Werte annehmen, die PBO ist dann sehr grob.
• Niedrige PBO ist kein Gütesiegel: Sind alle Varianten schwach, kann die beste trotzdem stabil die beste bleiben. Prüfe zusätzlich Verlustwahrscheinlichkeit, Deflated Sharpe Ratio und den Abstand zu einfachem Kaufen und Halten.
• Kurze Historie: Wenige Jahre ergeben kurze Blöcke oder wenige Teilungen; Krisen fehlen dann ganz oder dominieren.
• Zukunft bleibt offen: Auch eine Auswahl, die in der Vergangenheit hielt, kann scheitern, wenn sich Märkte und Teilnehmer ändern.

So rechnet Portfolio Lab

Portfolio Lab rechnet die PBO an zwei Stellen. Im Ergebnis des Backtests prüft der Reiter Overfitting-Check die Auswahl unter deinen Portfolios. In der Taktik rechnet der eigene Reiter Overfitting-Check das gewählte Modell über ein Raster seiner Parameter, etwa den gleitenden Durchschnitt über 3 bis 12 Monate oder bei Dual Momentum Lookback und Zahl der gehaltenen Assets, mit höchstens 40 Varianten. Jede Variante läuft mit denselben Kursen, demselben Ausweich-Asset, derselben Umsetzung und denselben Handelskosten. Aus den Monatsrenditen über den gemeinsamen Zeitraum zieht er den risikofreien Zins ab und wendet CSCV mit 16 Blöcken an, Kennzahl ist die Sharpe Ratio.

Jeder Block soll mindestens 6 Monate umfassen; bei kürzerer Historie nimmt der Check weniger Blöcke, überzählige früheste Monate fallen weg. Dazu zeigt er die Verteilung der Logits, den Leistungsabfall, die Verlustwahrscheinlichkeit und die Deflated Sharpe Ratio der besten Variante mit der Zahl der Varianten und der beobachteten Streuung ihrer Sharpe Ratios. Alle Einzelheiten stehen in der Methodik des Overfitting-Checks, wie die Modelle der Taktik rechnen, in der Methodik der Taktik.

This article explains a method; it is not investment or tax advice. Worked examples are simplified and rounded. All terms in the glossary.