Curve Fitting – Túltanulás

Bevezetés

A Curve Fitting, vagyis túltanulás során egy kereskedési szabályrendszert egyre szorosabban hozzáigazítunk ahhoz a történelmi adathoz, amelyen fejlesztettük. Az eredmény azért tűnhet rendkívül tisztának, mert a stratégia megtanulta az adott minta zaját, sajátosságait és véletlen eseményeit.

A kereskedési kutatásban ez azért veszélyes, mert a történelmi adatok egyszerre tartalmaznak információt és véletlenszerűséget. Egy kellően rugalmas stratégia mindkettőt képes megmagyarázni. A probléma az, hogy a szabályok így a múltat magyarázhatják anélkül, hogy tartós Stratégiai előnyt ragadnának meg.

A Túltanulás szorosan kapcsolódik az Adatbányászati torzításhoz, de a két fogalmat külön kell tartani. Az adatbányászati torzítás az ismételt keresésről és kiválasztásról szól; a Túltanulás pedig a stratégia túlzott alkalmazkodását írja le az adott mintához. Mindkettő gyenge Mintán kívüli teljesítményhez vezethet.

1. Mit jelent valójában a Túltanulás?

Egy stratégia akkor túltanult, amikor a paramétereit, feltételeit, szűrőit, kivételeit vagy döntési logikáját annyira szorosan hozzáigazítottuk egy történelmi mintához, hogy a teljesítménye erősen ettől az adott mintától függ.

A „curve” szó a történelmi teljesítménygörbére utal, de a probléma szélesebb egy szép equity curve-nél. Egy stratégia akkor is túltanult lehet, ha az equity curve önmagában nem különösebben sima, amennyiben az egyes szabályokat a történelmi kimenetekhez mérnököltük.

2. Jel és zaj

A történelmi árfolyamadatok ismétlődő piaci viselkedést és véletlenszerű eltéréseket egyaránt tartalmaznak. Egy hasznos stratégia olyan viselkedést próbál megragadni, amelynek van ésszerű mechanizmusa és fennmaradhat. Egy túltanult stratégia viszont olyan véletlen kapcsolatokat is megragadhat, amelyek csak az adott mintában léteztek.

A jel olyan információ, amely általánosítható lehet.

A zaj olyan eltérés, amely nem feltétlenül ismétlődik.

A Túltanulás növeli annak esélyét, hogy a zaj bekerüljön a szabályrendszerbe.

A nehézség az, hogy a történelmi adatokban a jel és a zaj nincs felcímkézve. A validáció feladata annak vizsgálata, hogy a felfedezett kapcsolat túléli-e a fejlesztési mintán kívüli környezetet.

3. A rugalmasság a fő kockázat

Minél több szabadságfoka van egy stratégiának, annál több lehetősége van a történelmi megfigyelésekhez való alkalmazkodásra.

Sok indikátor

Sok paraméterérték

Több feltételes szűrő

Speciális szabályok bizonyos napokra vagy kereskedési szakaszokra

Eltérő szabályok különböző volatilitási rezsimekre

Instrumentum-specifikus kivételek

Nagyszámú belépési és kilépési feltétel

A rugalmasság önmagában nem rossz. Professzionális stratégiák lehetnek összetettek. A kérdés az, hogy a komplexitás valódi kereskedési mechanizmust ír-e le, vagy egyszerűen elegendő szabadságot ad ahhoz, hogy a modell megmagyarázza a történelmi zajt.

4. A paramétercsapda

Tegyük fel, hogy egy trader mozgóátlagos stratégiát tesztel. Kipróbálja a 10, 20, 30, 40, 50, 60 napos és számos más periódust, majd kiválasztja azt, amelyik a legjobb történelmi eredményt adja. A kiválasztott paraméter attól még nem lesz automatikusan jelentős, hogy matematikailag optimális az adott mintában.

Ha a közeli értékek hasonlóan jól működnek, az paraméterstabilitásra utalhat. Ha például 47 kiemelkedően jó, míg 45 és 49 összeomlik, az eredményt sokkal alaposabban kell vizsgálni. Az éles paramétercsúcs arra utalhat, hogy a stratégia az adott történelmi részletekhez alkalmazkodott.

5. A túl sima görbe is lehet gyanús

A rendkívül sima equity curve vonzó lehet, de önmagában nem bizonyíték a robusztusságra. Ha egy stratégia elegendő szűrőt és kivételt tartalmaz, a veszteséges időszakok egy része akár szelektíven is elkerülhető a mintán belül.

A helyes kérdés nem az, hogy szép-e a görbe. Hanem az, hogy a szabályrendszer hiteles marad-e megváltozott történelmi környezetben és ésszerű feltételezés-eltérések mellett.

6. Szabadságfokok

A szabadságfokok azt írják le, hogy a kutatási folyamatnak elméletileg mekkora rugalmassága van az adathoz való alkalmazkodásra. A kereskedésben ez nemcsak numerikus paramétereket, hanem strukturális döntéseket is jelent.

Mely instrumentumokat kereskedjük

Melyik idősíkot használjuk

Mely napokat zárjuk ki

Mely indikátorokat kombináljuk

Hol legyen a stop és a célár

Mely piaci rezsimek kapjanak speciális kezelést

Mely trade-eket szűrjük ki

Egy több tucat egymással kölcsönható döntést tartalmazó stratégia rendkívül jól illeszthető egy véges történelmi mintára akkor is, ha a mögöttes edge gyenge.

7. Túltanulás és Adatbányászati torzítás

Az Adatbányászati torzítás és a Túltanulás gyakran visszacsatolt folyamatot alkot. A kutató sok alternatívát tesztel, talál egy ígéretes konfigurációt, tovább módosítja, újra tesztel, majd megtartja a történelmi eredményt javító változtatásokat.

Az ismételt keresés lehetőséget teremt a zaj felfedezésére; a további módosítások pedig beépítik ezt a zajt a végső szabályrendszerbe. Ezért fontos a kutatási előzmény a végső backteszt értékelésekor.

8. A Mintán belüli teljesítmény nem a cél

A Mintán belüli fejlesztés célja egy hipotézis felfedezése és finomítása. Nem az, hogy korlátlanul maximalizáljuk a történelmi teljesítményt.

Az a stratégia, amely a lehető legmagasabb Mintán belüli hozamot produkálja, nem feltétlenül az, amelyre a legerősebb bizonyíték áll rendelkezésre. Erős hangolás után a mintán belüli eredmény inkább azt mutathatja meg, hogy mit tanult meg a kutató az adott adatbázisról, mint azt, hogy mi várható a jövőben.

9. A Mintán kívüli teszt a valóságellenőrzés

A valóban érintetlen Mintán kívüli időszak lehetőséget ad annak vizsgálatára, hogy a stratégia által felfedezett kapcsolat fennmarad-e olyan adaton, amely nem irányította a fejlesztést.

Ha a teljesítmény mérsékelten romlik, de az alapvető viselkedés stabil marad, az informatív lehet. Ha a stratégia azonnal összeomlik, az arra utalhat, hogy a látszólagos előny jelentős részét a fejlesztési minta hordozta.

Az OOS teszt nem bizonyítja, hogy egy stratégia élesben működni fog. Egy fontos bizonyítéki réteg a túlzott történelmi alkalmazkodás ellen.

10. Walk-forward és paraméterstabilitás

A Walk-forward elemzés feltárhatja azokat a stratégiákat, amelyek csak ismételt újrakalibrálás után működnek. Ha az optimális paraméterek kiszámíthatatlanul ugrálnak az ablakok között, és a teljesítmény minden alkalommal egy szűk konfiguráció kiválasztásától függ, az edge törékeny lehet.

A paraméterstabilitás ezért hasznos. Nem szükséges, hogy minden időszakban pontosan ugyanazok a paraméterek legyenek optimálisak, de egy robusztus mechanizmus esetében gyakran a közeli paramétertartományoknak is hasonlóan kell viselkedniük.

11. Robusztusságvizsgálat

A Robusztusság azt jelenti, hogy a fő következtetés nem egyetlen pontos történelmi konfigurációtól függ. Hasznos vizsgálatok például:

Kis paraméter-eltérések

Alternatív, de ésszerű stop- vagy célár-feltételezések

Eltérő slippage- és tranzakciós költség-feltételezések

Közeli idősíkok

Eltérő, de gazdaságilag kapcsolódó instrumentumok

Eltérő történelmi részidőszakok

Perturbációs vagy újramintavételezési módszerek, ahol megfelelőek

A cél nem az, hogy minden változat nyereséges legyen. A cél annak megállapítása, hogy a megfigyelt Stratégiai előny egyetlen törékeny pontba koncentrálódik-e.

12. Miért lehet egy egyszerű stratégia is túltanult?

A Túltanulás nem azonos a komplexitással. Egy egyszerű stratégia is túltanult lehet, ha a benne szereplő egyetlen szabályt kiterjedt keresés után választottuk ki.

Például a kutató azt találja, hogy a hónap egy bizonyos napja, egy pontos küszöb vagy egy szűk tartási idő rendkívül erős történelmi eredményt adott, miután több ezer alternatívát tesztelt. A végső szabály egyszerű lehet, miközben a kutatási folyamat erősen szelektív volt.

13. A végrehajtás feltételezései is túltanulhatók

A kutató nemcsak a jelet, hanem a végrehajtás feltételezéseit is véletlenül optimalizálhatja. Ilyen lehet egy kedvező slippage-becslés, belépési időzítési konvenció vagy likviditási küszöb kiválasztása azután, hogy láttuk, melyik javítja a backtesztet.

A végrehajtási feltételezéseket ezért előre kell definiálni és stressztesztelni, nem pedig addig hangolni, amíg vonzó equity curve nem jelenik meg.

14. A stabilitási térkép

Hasznos szakértői módszer, ha nem csak az optimális paramétert jelentjük, hanem feltérképezzük a teljes környezetét.

Képzeljünk el egy stratégiát, amelynek egyik paramétere 10 és 100 között mozog. Ahelyett, hogy csak azt kérdeznénk, melyik pontos érték adja a legmagasabb hozamot, vizsgáljuk meg az egész tartomány viselkedését.

Széles teljesítmény-fennsík: potenciálisan stabilabb.

Több közeli elfogadható tartomány: informatívabb, mint egy izolált csúcs.

Nagyon keskeny csúcs: további validációt igényel.

Több egymástól távoli csúcs: vizsgáljuk meg, nem keveredik-e több eltérő mechanizmus.

Ez diagnosztikai eszköz, nem garancia. Egy széles fennsík is létrejöhet torzított kutatási folyamat eredményeként.

15. Szakértői esettanulmány – A tökéletes paraméter

Egy trader egy kitörési rendszert tesztel 5 és 200 közötti visszatekintési paraméterrel. A legjobb történelmi eredmény 137-nél jelentkezik. Ezután a trader 1,73 ATR-re hangolja a stopot, hozzáad egy volumenfiltert, kizár két hétköznapot, majd úgy módosítja a tartási időt, hogy a Visszaesés szokatlanul kicsi legyen.

Minden egyes döntés javítja a fejlesztési backtesztet. A végső rendszer összetettnek és rendkívül nyereségesnek látszik.

A szakértő nem kezeli a végső számot a pontosság bizonyítékaként. Ehelyett megvizsgálja, hány kutatási döntés hozta létre. A paraméterkörnyezet vizsgálata azt mutatja, hogy a pontos 137 sok közeli értéknél lényegesen jobb. Ezután a rendszert érintetlen Mintán kívüli adaton és alternatív végrehajtási feltételek mellett teszteli.

A tanulság nem az, hogy a 137 biztosan hibás. Hanem az, hogy a szélsőséges történelmi optimalitás önmagában információ a kutatási folyamatról, és erősebb validációt indokol.

16. Gyakori hibák

Minden paraméter optimalizálása a történelmi maximumra.

Szűrők hozzáadása minden veszteséges időszak után.

Speciális kivételek létrehozása egyes instrumentumokra vagy dátumokra.

Pontos küszöbök kiválasztása pusztán a legjobb backteszt miatt.

A sima equity curve robusztusságként való kezelése.

A stratégia ismételt módosítása az OOS eredmény megtekintése után.

A paraméterek környezetének figyelmen kívül hagyása.

A végrehajtási feltételezések optimalizálása a stratégiával együtt.

A komplexitás és a szakmai kifinomultság összekeverése.

Az optimalizálás előtti stratégia-verzió megőrzésének elmulasztása.

17. Szakértői gyakorlat – Törd meg a görbét

Válassz egy erős történelmi teljesítményű stratégiát, és szándékosan vizsgáld meg, hogy az eredménye a pontos hangolástól függ-e.

Rögzítsd a jelenlegi, befagyasztott specifikációt.

Készíts ésszerű tartományt minden fontos paraméter köré.

Térképezd fel a teljesítményt a paraméter-környezetekben.

Változtass egyszerre egy végrehajtási feltételezésen.

Oszd fel a történelmet értelmes részidőszakokra.

Hasonlítsd össze a Mintán belüli és az érintetlen Mintán kívüli viselkedést.

Használj Walk-forward elemzést, ha a paraméter-újrakalibrálás a tervezett folyamat része.

Azonosítsd, mely jellemzők stabilak, és melyek felelősek a teljesítmény nagy részéért.

A cél nem a stratégia tönkretétele. A cél annak feltárása, hogy a teljesítményt szélesebb mechanizmus támasztja-e alá, vagy egy szűk történelmi illesztésből származik.

18. Tudásellenőrzés

Mi a Túltanulás?

Miért számít a stratégia szabadságfokainak száma?

Miért lehet egy egyszerű stratégia is túltanult?

Mire utalhat egy nagyon keskeny paraméter–teljesítmény csúcs?

Miért fontos az OOS teszt erős fejlesztés után?

Hogyan tárhatja fel a Walk-forward a paraméter-instabilitást?

Miért kell a végrehajtási feltételezéseket is stressztesztelni?

Mi a stabilitási térkép célja?

Alapelv: a stratégiai kutatás célja nem az, hogy a történelmi adatokat a lehető legtökéletesebben megmagyarázza. A cél egy olyan kereskedési hipotézis azonosítása, amely valószerű, ismételhető kapcsolatot ragad meg, miközben ellenáll annak a kísértésnek, hogy megtanulja és megjegyezze a mintát.

Copying, reproducing, adapting, distributing, or publicly displaying any part or all of the Academy’s textual content without the author’s prior written consent is prohibited.