Data Quality — Adatminőség

Bevezetés

Az adatminőség a backtesztelés egyik legkevésbé látványos, mégis meghatározó hibaforrása. Egy stratégia lehet logikailag helyes, statisztikailag érdekes és technikailag jól megvalósított, mégis félrevezető eredményt adhat, ha a történelmi adatokban hiányok, hibás árak, inkonzisztens időbélyegek, vállalati eseményekből eredő hibák, survivorship hatások vagy a valós piactól eltérő végrehajtási feltételezések vannak.

A tapasztalt trader számára az adat nem egyszerűen valami, amit a backteszt előtt letöltünk. Az adat maga is része a kutatási modellnek. A cél nem egy olyan adatbázis megtalálása, amely jól mutató eredményt produkál, hanem annak bizonyítása, hogy az adathalmaz megfelelően pontos, teljes, konzisztens és időben helyes az adott kutatási kérdés megválaszolásához.

1. Mit jelent az adatminőség a kereskedési kutatásban?

Az adatminőség azt jelenti, hogy egy adathalmaz mennyire alkalmas az adott kutatási kérdés megválaszolására. Nincs minden célra tökéletes adatforrás. Egy napi swing stratégia, egy intraday momentum stratégia és egy market microstructure kutatás teljesen eltérő adatigényű.

A legfontosabb dimenziók a teljesség, pontosság, konzisztencia, időbélyegek integritása, vállalati események kezelése, instrumentumazonosítás és az információ történelmi elérhetősége.

A helyes kérdés ezért nem az, hogy „jó-e ez az adat?”, hanem az, hogy „megfelelő-e ez az adat ehhez a konkrét backteszthez?”

2. Teljesség: a hiányzó adat is információ

A hiányzó megfigyelések módosíthatják a jelzéseket, hozamokat, volatilitásbecsléseket és drawdown-számításokat. Különösen veszélyes, ha a hiány nem véletlenszerű.

Hiányzó kereskedési napok torzíthatják a tartási idő számítását.

Hiányzó gyertyák hamis kitörést hozhatnak létre vagy valódi mozgást rejthetnek el.

Hiányzó vállalati események mesterséges árugrásokat okozhatnak.

A delistázott instrumentumok hiánya torzíthatja a történelmi univerzumot.

Hiányzó volumen érvénytelenítheti a likviditási szűrőket.

A kutatónak rögzítenie kell, hol és mennyi adat hiányzik, illetve mi történik akkor, amikor egy megfigyelés nem áll rendelkezésre. A csendben történő törlés vagy automatikus feltöltés nem semleges döntés.

3. Pontosság: ami hihető, még nem feltétlenül helyes

A hibás adat gyakran teljesen hihetőnek tűnik. Egy 102,40-es ár önmagában nem látszik hibásnak. A problémát sokszor csak a környező adatokkal, más adatforrással, tőzsdei szabályokkal, vállalati eseményekkel vagy az instrumentum normális viselkedésével összevetve lehet felismerni.

Hasznos ellenőrzések az OHLC-kapcsolatok vizsgálata, a gyanús egynapos mozgások, duplikált rekordok, oda nem illő volumenértékek és az instrumentumra jellemző korlátokat sértő árak keresése.

A döntő különbség egy valódi piaci esemény és egy adatbázishiba között van. A szokatlan adatpontot először meg kell vizsgálni, és csak utána lehet dönteni a kezeléséről.

4. OHLC-konzisztencia

Normál OHLC adatoknál alapvető összefüggéseknek kell teljesülniük: a High nem lehet az Open, Close vagy Low alatt, a Low pedig nem lehet ezek felett. Egy ilyen eltérés adat- vagy feldolgozási hibára utal.

Ezek az egyszerű ellenőrzések azért fontosak, mert egyetlen hibás mező továbbterjedhet az indikátorokba, belépőkbe, stopokba, célárakba és végül a teljes teljesítménystatisztikába.

5. Időbélyegek és kereskedési szekciók

Az időbélyeg nem puszta címke. Meghatározza, hogy egy stratégia döntési pontján milyen információ állt ténylegesen rendelkezésre.

Problémát okozhat az időzóna, a nyári időszámítás, a kereskedési szekciók határainak hibás kezelése, az overnight kereskedés, a tőzsdei ünnepnapok vagy az, hogy az időbélyeg a gyertya nyitását vagy zárását jelenti.

Ha például egy napi jelzéshez használt gyertyát a rendszer már lezártnak tekint a tényleges piaczárás előtt, akkor a backteszt olyan információt is felhasználhat, amely a döntés pillanatában még nem volt elérhető.

Egy professzionális adatforrásnál egyértelműen dokumentálni kell az időzónát és azt is, hogy pontosan mit jelent az egyes rekordok időbélyege.

6. Duplikációk, rossz sorrend és átfedő rekordok

A duplikált rekordok mesterségesen növelhetik a volument, ismételt jelzéseket generálhatnak és módosíthatják a statisztikákat. A nem időrendi rekordok tönkretehetik a gördülő számításokat. Több adatforrás összefésülésekor átfedő rekordok is keletkezhetnek.

A kutatás előtt ellenőrizni kell az egyediséget és az időrendi sorrendet. Több adatforrás egyesítésekor dokumentálni kell az összeillesztési szabályt.

7. Vállalati események és korrigált árak

A részvényárak olyan események miatt is megváltozhatnak, amelyek nem egyszerű piaci hozamot jelentenek, például split vagy bizonyos kifizetések miatt. Ha ezeket a backteszt figyelmen kívül hagyja, egy vállalati eseményt akár óriási nyereségként vagy veszteségként is értelmezhet.

A korrigált és nem korrigált árak eltérő kérdések megválaszolására alkalmasak. A korrigált történelmi árak hasznosak lehetnek a gazdaságilag összehasonlítható hozamok vizsgálatára, míg a nyers árak bizonyos végrehajtási modellekhez szükségesek lehetnek.

A kulcs a konzisztencia: az árfolyam, a vállalati események kezelése, az indikátorok, a stopok és a hozamszámítás ugyanazt a kutatási valóságot kell hogy írják le.

8. Delistázott instrumentumok és survivorship torzítás

Ha a történelmi univerzumban csak a jelenleg is létező instrumentumok szerepelnek, survivorship torzítás alakulhat ki. A csődbe ment, összeolvadt, felvásárolt vagy delistázott vállalatok eltűnhetnek az adatbázisból, noha korábban a trader számára elérhetők voltak.

Az adatminőség ezért az instrumentumuniverzum integritását is jelenti. Ha azt akarjuk vizsgálni, hogy egy trader mit választhatott volna az adott időpontban, akkor a történelmi univerzum tagsága is része az adatnak.

9. Szimbólumváltozások és instrumentumazonosság

A ticker szimbólumok változhatnak. Vállalatok összeolvadhatnak, nevet vagy tőzsdei listázást válthatnak. Emiatt a ticker önmagában nem mindig stabil azonosító.

Ha történelmi rekordokat pusztán ticker alapján kapcsolunk össze, az adat széteshet vagy hibásan kapcsolódhat. Professzionális kutatásban lehetőség szerint stabil instrumentumazonosítót és dokumentált szimbólumtérképet kell használni.

10. Volumen és likviditási adatok

A volument gyakran szűrőként, megerősítő jelként vagy végrehajtási korlátként használjuk. A jelentése azonban függ a piactól és az adatforrástól. A jelentett volumen, az összesített volumen, egyetlen venue volumene és egy becsült volumen nem feltétlenül csereszabatos.

Ha egy stratégia a történelmi volumen alapján feltételezi, hogy egy adott pozícióméret könnyedén végrehajtható, miközben az adatforrás likviditás-ábrázolása eltér a valós végrehajtási környezettől, akkor az eredmény félrevezető lehet.

11. Bid/ask, spread és kötési adatok

Az OHLC adatok megmutatják az ár mozgását, de önmagukban nem írják le a trader számára ténylegesen elérhető spreadet. Az olyan stratégia, amely mindig a záróáron lép be, a stopot pontosan a megadott szinten tölti ki, vagy korlátlan likviditást feltételez, jobb eredményt mutathat, mint amit a piacon végre lehetett volna hajtani.

Végrehajtásérzékeny stratégiáknál szükség lehet bid/ask vagy kötésenkénti adatokra. Az adatminőséget ezért mindig a végrehajtási feltételezésekkel együtt kell értékelni.

12. Időbeli adat-szivárgás

Különösen veszélyes adatminőségi probléma, amikor egy információ már korábbi időponthoz tartozó rekordban is szerepel, noha a trader akkor még nem ismerhette.

Ilyen lehet például később korrigált fundamentális adat, utólagos besorolás, jövőbeli vállalati események ismerete vagy olyan adatbázis, amely visszamenőlegesen alkalmaz információkat korábbi időpontokra.

Nem az a kérdés, hogy az érték történelmileg igaz-e. Az a kérdés, hogy a döntés pillanatában ismert volt-e.

13. Újramintavételezés és aggregálás

Alacsonyabb idősíkú adatok magasabb idősíkra történő aggregálása módszertani döntéseket tartalmaz. A szekcióhatárok, az első és utolsó megfigyelés, a hiányzó intervallumok és az aggregálási szabályok mind módosíthatják a létrejövő OHLC-adatokat.

Egy ötperces adatokból órásra aggregált stratégia nem feltétlenül azonos egy natív órás adatforráson tesztelt stratégiával. A kutatónak tudnia kell, hogyan jött létre az adatsor.

14. Adatszolgáltatók közötti eltérések

Két legitim adatforrás is eltérhet egymástól eltérő korrekciók, tőzsdei lefedettség, időbélyegek, vállalati események kezelése vagy aggregálási szabályok miatt.

Ez önmagában nem jelenti azt, hogy az egyik forrás hibás. A kutatás szempontjából azt kell megérteni, mi okozza az eltérést, és hogy a stratégia következtetései érzékenyek-e rá.

Fontos stratégiáknál érdemes különböző forrásokból vett pontellenőrzésekkel feltárni a sérülékeny feltételezéseket.

15. Az adatminőség mint kutatási kontrollrendszer

A professzionális backtesztelésben az adatellenőrzés nem egyszeri ránézés, hanem ismételhető kontrollfolyamat.

Határozd meg a kutatási kérdést és a szükséges piaci adatokat.

Dokumentáld a forrást, időzónát, szekciószabályokat és korrekciós politikát.

Futtass strukturális ellenőrzéseket: duplikáció, sorrend, hiányzó intervallumok, OHLC-konzisztencia.

Futtass piaci ellenőrzéseket: gyanús ugrások, volumenanomáliák, szekcióhibák, vállalati események.

Ellenőrizd az instrumentumazonosságot és a történelmi univerzumot.

Dokumentálj minden tisztítási és transzformációs szabályt.

Rögzítsd a teszthez használt validált adatállomány verzióját.

Jelentős adatfrissítés után ismételd meg a kulcsellenőrzéseket.

16. Haladó esettanulmány — A tökéletes breakout stratégia

Tegyük fel, hogy egy breakout stratégia tíz év napi részvényadatán kivételes equity curve-öt produkál. Az ellenőrzés során kiderül, hogy az adat splitre korrigált, viszont a kutatási univerzumban csak a jelenleg is tőzsdén lévő részvények vannak. Több történelmi tickerhez manuális megfeleltetés is készült.

Lehetséges, hogy a stratégiában valódi előny van, de az eredmény bizonyító ereje még nem megfelelő. Az univerzum survivorship torzítást tartalmazhat, a kézi ticker-megfeleltetés pedig auditkockázatot jelent. A helyes lépés az adat javítása, a teszt újrafuttatása, a különbségek összevetése és dokumentálása.

A példa egyik legfontosabb tanulsága: a backteszt hitelessége csak annyira erős, amennyire erős az adatdöntések teljes lánca, amely az eredményhez vezetett.

17. Gyakori adatminőségi hibák

Feltételezni, hogy a drága vagy népszerű adat automatikusan kutatásra alkalmas.

Szélsőséges adatpontok törlése vizsgálat nélkül.

Hiányzó árak automatikus kitöltése a hiány okának megértése nélkül.

Időzóna és kereskedési szekciók figyelmen kívül hagyása.

Korrigált és nem korrigált árfolyamok keverése.

Aktuális tickerlista használata történelmi univerzum rekonstrukciójához.

OHLC adat kezelése úgy, mintha bid/ask végrehajtási adatot tartalmazna.

A tisztítási szabályok módosítása a backteszt eredményének megismerése után.

A tesztelt adatállomány verziójának dokumentálásának elmulasztása.

18. Expert gyakorlat — Építs adat-auditot

Válassz egy olyan stratégiát, amelyet valóban komolyan fontolóra vennél kereskedésre, és készíts hozzá adat-audit ellenőrzőlistát. Határozd meg a minimális idősíkot, instrumentumokat, kereskedési szekciókat, ármezőket, volumenfeltételeket, vállalati események kezelését, időzónát és a szükséges végrehajtási adatokat.

Ezután egy másolatban szándékosan hozz létre egy adatminőségi hibát — például törölj egy blokkot a gyertyákból, told el az időbélyegeket vagy helyezz el egy gyanús árat. Mérd meg, mely stratégiai mutatók változnak. A cél annak feltárása, hogy a kutatás mely részei a legérzékenyebbek az adat integritására.

19. Tudásellenőrzés

Miért relatív fogalom az adatminőség a kutatási kérdéshez képest?

Miért okozhat a hiányzó adat többet egyszerű mintaszám-csökkenésnél?

Mi a különbség a korrigált és a nem korrigált áradat között?

Miért okozhat survivorship torzítást a jelenlegi tickerlista használata?

Miért alapvető az időbélyegek pontossága az előretekintési torzítás elkerüléséhez?

Miért lehet elégtelen az OHLC adat végrehajtásérzékeny stratégiáknál?

Miért kell megvizsgálni a szokatlan adatpontokat törlés előtt?

Miért része a reprodukálható kutatásnak az adatverziók rögzítése?

Copying, reproducing, adapting, distributing, or publicly displaying any part or all of the Academy’s textual content without the author’s prior written consent is prohibited.