Data Snooping – Adatbányászati torzítás

Bevezetés

Egy kereskedési stratégia azért is tűnhet statisztikailag meggyőzőnek, mert a kutató elegendő alternatívát keresett addig, amíg valamelyik jól nem nézett ki. Ez az adatbányászati torzítás: ugyanazon adatok ismételt feltárása, tesztelése, kiválasztása és módosítása miatt véletlenszerű mintázatok valódi Stratégiai előnynek tűnhetnek.

A veszély nem egyetlen rossz tesztben rejlik, hanem a kutatási döntések felhalmozódásában. Ha sok indikátort, belépési szabályt, kilépést, idősíkot, instrumentumot, szűrőt, paramétert és dátumtartományt próbálunk ki, előbb-utóbb találhatunk olyan kombinációt, amely látványos backtesztet produkál akkor is, ha nincs tartós edge.

Az adatbányászati torzítás ezért elsősorban kutatási folyamatprobléma. Szorosan kapcsolódik a Túltanuláshoz, a Statisztikai szignifikanciához, a Mintanagysághoz, a Mintán belüli / Mintán kívüli szétválasztáshoz és a Robusztussághoz.

1. Az alapötlet

Tegyük fel, hogy egy trader egyszer tesztel egy stratégiát, és erős eredményt kap. Ennek egy bizonyos bizonyítéki kontextusa van. Most képzeljük el, hogy 500 stratégia-változatot tesztel, majd kiválasztja a legjobbat. A kiválasztott eredmény bizonyítéki értelme már teljesen más, mert a kutató 500 lehetőséget adott a véletlennek arra, hogy valami szokatlant produkáljon.

Minél több lehetőséget adunk a véletlennek egy vonzó eredmény létrehozására, annál kevésbé meggyőző önmagában a legjobb megfigyelt eredmény, hacsak a kutatási folyamat nem számol ezekkel az ismételt próbákkal.

2. Az adatbányászati torzítás a kutatási folyamatról szól

Az adatbányászati torzítás nem igényel szándékos manipulációt. Egy kutató teljesen jóhiszeműen is létrehozhatja azzal, hogy ugyanazt a történelmi adatbázist újra és újra megkérdezi, a kedvező válaszokat megtartja, a gyengéket pedig elveti.

Tesztelsz egy indikátort.

Az eredmény láttán módosítod az időszakát.

Hozzáadsz egy szűrőt, mert javul az equity curve.

Eltávolítasz egy kellemetlen piaci rezsimet.

Megváltoztatod a kilépést, mert csökken a visszaesés.

Addig ismétled, amíg a statisztikák meggyőzőnek nem tűnnek.

Minden egyes változtatás önmagában ésszerűnek tűnhet. A teljes folyamat azonban egy olyan stratégiát hozhat létre, amely túlságosan az adott történelmi mintára lett szabva.

3. A többszörös tesztelés problémája

Ha sok hipotézist tesztelünk, néhány közülük pusztán véletlenből is szignifikánsnak tűnhet. Ez a többszörös tesztelés problémája. Egy hagyományos szignifikanciaszint egy meghatározott statisztikai teszthez készült, nem pedig korlátlan kereséshez, amelynek végén a legvonzóbb eredményt választjuk.

Ez nem jelenti azt, hogy minden többszörösen tesztelt eredmény használhatatlan. Azt jelenti, hogy a kutatási előzmények számítanak. A kísérletek mennyisége és jellege az eredmény bizonyítéki értékének része.

4. Példa – Tíz érme

Képzeld el, hogy tíz érmét 20 alkalommal feldobsz, majd megkeresed azt, amelyik a legerősebb látszólagos trendet mutatja. Még ha mindegyik érme szabályos is, valamelyik pusztán véletlenből látványos sorozatot produkálhat.

A hiba az lenne, ha a nyertes érmét úgy kezelnénk, mintha a kísérlet előtt kiválasztottuk volna. A kereskedési kutatás hasonló: ha több száz stratégia-változatot keresünk végig, majd csak a győztest mutatjuk meg, a kiválasztási folyamat eltűnik a bizonyítékból.

5. Milyen stratégia-változatok számítanak?

A kutatók gyakran alábecsülik, hogy valójában hány kísérletet végeztek. Nem kell teljesen új stratégiát létrehozni ahhoz, hogy egy újabb teszt számítson.

Eltérő indikátor-időszakok

Eltérő belépési küszöbök

Eltérő stop- és célár-távolságok

Eltérő tartási idők

Eltérő kereskedési szakaszok

Eltérő instrumentumok vagy univerzumok

Eltérő volatilitási szűrők

Eltérő Pozícióméretezési szabályok

Eltérő kezdő- és záródátumok

A fentiek különböző kombinációi

A hasonló változatok is ismételt lehetőséget jelentenek arra, hogy kedvező történelmi mintázatot találjunk.

6. Adatbányászati torzítás vs. Túltanulás

A Túltanulás a stratégia eredménye: a modell vagy szabályrendszer túlságosan alkalmazkodik a történelmi zajhoz. Az adatbányászati torzítás pedig az a kutatási folyamat, amely ismételt kereséssel és kiválasztással ezt az alkalmazkodást előidézheti.

A két fogalom átfed, de nem azonos. Egy stratégia kiterjedt adatbányászat után túltanulhat, és a kiterjedt keresés akkor is eredményezhet látványos kiválasztott stratégiát, ha annak pontos mechanizmusa még nem tisztázott.

7. A mintán belüli adat korlátozott erőforrás

Minden alkalommal, amikor ugyanazt a történelmi adatot kutatási döntés meghozatalára használjuk, információt fogyasztunk abból a mintából. Az adat fizikailag nem semmisül meg, de csökken a képessége arra, hogy később torzítatlan végső értékelést adjon.

Ezért a Mintán kívüli adatnak valóban érintetlennek kell maradnia. Ha a kutató újra és újra megnézi az OOS eredményt, majd annak alapján módosítja a stratégiát, az adat többé nem tiszta holdout.

8. Miért lehet adatbányászat az is, hogy „csak egy dolgot változtattam”?

Gyakori védekezés, hogy csak egy paramétert változtattunk. A lényeges kérdés azonban nem az, hogy a végső verzióban hány paraméter változott, hanem az, hogy hány alternatívát vizsgáltunk meg, mielőtt kiválasztottuk a végső változatot.

Tíz egymást követő, egyparaméteres kísérlet tíz kutatási döntés is lehet. A végső stratégia nem törli el a keresési előzményeket.

9. Szignifikancia sok keresés után

Alacsony p-érték vagy látszólag erős Statisztikai szignifikancia könnyebben előállítható, ha sok hipotézist kerestünk végig. Ezért a szignifikanciát mindig a kutatási folyamat kontextusában kell értelmezni.

Más bizonyítéki helyzet az, amikor egy előre definiált tesztet túlél egy eredmény, és más az, amikor több száz, nem dokumentált kísérlet után választunk ki egy eredményt. A második esetben erősebb validáció szükséges, mielőtt Stratégiai előnyként kezelnénk.

10. Mintanagyság és a pontosság illúziója

Sok trade miatt egy backteszt statisztikája nagyon pontosnak tűnhet, miközben a kutatási folyamatot továbbra is torzítja a kiválasztás. A Mintanagyság csökkenti a véletlen becslési zajt; önmagában nem korrigálja az ismételt hipotézisválasztást.

A gyakorlati kérdés ezért kétirányú: mennyi adat támasztja alá a megfigyelt eredményt, és mekkora keresés hozta létre ezt az eredményt? Mindkettő befolyásolja a bizonyíték erejét.

11. Hogyan kontrolláld az adatbányászati torzítást?

Definiáld a kutatási kérdést a tesztelés előtt.

Írd le előre a stratégiai hipotézist és az elsődleges mérőszámokat.

Rögzíts minden lényeges tesztelt változatot, ne csak a nyertest.

Válaszd szét a fejlesztési adatot és az érintetlen validációs adatot.

Ne nyisd meg újra és újra ugyanazt a holdout adathalmazt.

Használj időrendi Mintán kívüli tesztet, ahol ez megfelelő.

Használj Walk-forward elemzést, ha a paraméterek várhatóan változnak.

Részesítsd előnyben az egyszerű szabályokat, ha az extra komplexitás kevés magyarázó értéket ad.

Stresszteszteld a végső eredményt Robusztusság-vizsgálattal és alternatív feltételezésekkel.

Dokumentáld a teljes kutatási előzményt.

12. A kutatási napló maga is bizonyíték

A professzionális kutatási naplónak rögzítenie kell, mit teszteltünk, miért teszteltük, mi változott, és mi lett az eredmény. A napló láthatóvá teszi a keresési folyamatot.

Hipotézis

Adatbázis-verzió

Univerzum definíciója

Paraméterkészlet

Végrehajtási feltételezések

Teljesítményeredmények

A változat elfogadásának vagy elutasításának oka

Felhasználtuk-e később újra ugyanazt az adatot

Ez nem bürokrácia. Ez védelem az ellen, hogy egy kiválasztott történelmi mintázatot öntudatlanul úgy kezeljünk, mintha azt előre megjósoltuk volna.

13. Validáció kiterjedt keresés után

Ha a fejlesztési adaton kiterjedt kutatást végeztünk, a végső stratégiát valóban érintetlen adaton kell értékelni. A cél nem a siker garantálása. A cél annak vizsgálata, hogy a felfedezett mintázat túléli-e azt az információs környezetet, amely létrehozta.

Ha a Mintán kívüli eredmény lényegesen gyengébb, az önmagában nem bizonyítja, hogy a stratégia értéktelen. Azt viszont jelzi, hogy az eredeti bizonyíték kevésbé volt hordozható, mint azt a mintán belüli kutatás sugallta.

14. Adatbányászati torzítás Walk-forward kutatásban

A Walk-forward elemzés bizonyos statikus túltanulási formákat csökkent azáltal, hogy ismételten szétválasztja a fejlesztési és értékelési időszakokat. Ettől azonban a korlátlan kutatás nem válik automatikusan biztonságossá.

Ha a kutató sok walk-forward konfigurációt, ablakméretet, optimalizálási célt és paraméterezést futtat, majd kiválasztja a legvonzóbbat, maga a kiválasztási folyamat is adatbányászati problémává válhat.

15. Monte Carlo mint diagnosztika, nem gyógymód

A Monte Carlo elemzés segíthet annak felmérésében, hogy egy megfigyelt eredménysorozat vagy visszaesés mennyire szokatlan egy meghatározott modell szerint. Hasznos lehet az útfüggőség és a robusztusság megértésében.

A Monte Carlo azonban nem tudja utólag megszüntetni azt a kiválasztási torzítást, amelyet több száz stratégia keresése és csak a legjobb bemutatása hozott létre. A szimulációnak világosan definiált kutatási kérdéshez és modellhez kell kapcsolódnia.

16. Szakértői esettanulmány – A tökéletes szűrő

Egy trader egy egyszerű kitörési stratégiával kezdi. Az első teszt közepes. Ezután 12 volatilitási szűrőt, 8 mozgóátlag-feltételt, 6 tartási időt, 5 stop-módszert és ezek több kombinációját teszteli. Az egyik konfiguráció kiváló equity curve-öt és magas Profit faktort produkál.

A trader nem hamisított számokat. Minden backteszt helyesen futott. A probléma az, hogy a végső konfigurációt ugyanazon történelmi minta nagy kereséséből választotta ki.

A helyes következő lépés nem a legszebb curve ünneplése. A tradernek rekonstruálnia kell a kutatási előzményeket, rögzítenie kell a kiválasztott specifikációt, majd érintetlen Mintán kívüli adaton kell tesztelnie. Emellett érdemes megvizsgálni, hogy az eredmény ésszerű paraméter-eltérések és alternatív végrehajtási feltételek mellett is stabil marad-e.

A kulcskérdés ez lesz: „Túlélte-e a szabály a tisztességes validációs folyamatot?” és nem az, hogy „Találtam-e egy gyönyörű backtesztet?”

17. Gyakori hibák

Csak a sok tesztelt változat legjobbjának bemutatása.

Elfelejteni, hány paraméterkombinációt próbáltunk ki.

A Mintán kívüli adatok újrahasználata a fejlesztés során.

Egy alacsony p-érték bizonyítékként kezelése önmagában.

A sikertelen kísérletek figyelmen kívül hagyása azzal, hogy azok „csak kutatás” voltak.

A szabályok megváltoztatása minden csalódást okozó időszak után.

Több univerzum tesztelése, majd csak a legkedvezőbb kiválasztása.

Annak feltételezése, hogy a Walk-forward minden kiválasztási torzítást automatikusan megszüntet.

A nagy Mintanagyság használata a fegyelmezett kutatás helyettesítésére.

Kutatási napló vezetésének elmulasztása.

18. Szakértői gyakorlat – Auditáld a keresést

Válassz egy stratégiát, amelyet már kutattál. Rekonstruáld minden lényeges döntést, amely a jelenlegi verzióhoz vezetett.

Sorold fel az összes lényegesen eltérő változatot, amelynek tesztelésére emlékszel.

Csoportosítsd őket belépés, kilépés, szűrő, idősík, univerzum és Pozícióméretezés szerint.

Rögzítsd, melyik változathoz milyen adatot használtál.

Azonosítsd, hogy a végső stratégia kiválasztása történelmi teljesítmény alapján történt-e.

Rögzítsd a jelenlegi szabályokat, mielőtt megnyitnád az érintetlen validációs adatot.

Futtasd a rögzített stratégiát további módosítás nélkül.

Hasonlítsd össze a validációs eredményt a fejlesztési eredménnyel.

Dokumentáld, mi változott és mi maradt stabil.

A cél nem annak bizonyítása, hogy a stratégia működik. A cél annak meghatározása, hogy a kutatási folyamat alapján valójában mekkora bizalmat érdemel az eredmény.

19. Tudásellenőrzés

Miért változtatja meg több száz stratégia-változat tesztelése a legjobb eredmény bizonyítéki értékét?

Mi a különbség az adatbányászati torzítás és a Túltanulás között?

Miért kell a Mintán kívüli adatnak érintetlennek maradnia?

Miért nem oldja meg a nagy Mintanagyság az ismételt kiválasztásból eredő torzítást?

Mit kell tartalmaznia egy professzionális kutatási naplónak?

Miért lehet a Walk-forward elemzés is adatbányászati torzításnak kitéve?

Miért nem szünteti meg önmagában a Monte Carlo elemzés a kiválasztási torzítást?

Alapelv: minél több lehetőséget adunk a véletlennek arra, hogy vonzó történelmi mintázatot hozzon létre, annál erősebb validációra van szükség. A professzionális backteszt nem elrejti a kutatási keresést, hanem láthatóvá teszi, majd megvizsgálja, hogy a végső hipotézis túléli-e azt az adaton kívüli környezetet, amely létrehozta.

Copying, reproducing, adapting, distributing, or publicly displaying any part or all of the Academy’s textual content without the author’s prior written consent is prohibited.