Mintanagyság

ID: E-009

Bevezetés

Az E-008 fontos különbséget rögzített: egy trading eredmény lehet meggyőzőnek tűnő anélkül, hogy erős statisztikai bizonyítékot adna. Az E-009 ennek egyik legfontosabb meghatározóját vizsgálja: a Mintanagyságot.

A trade-ek számát a kereskedők gyakran egyszerű bizalmi mérőszámként kezelik. Ez veszélyes. A nagyobb minta általában több információt ad, de csak akkor, ha a megfigyelések relevánsak, kellően függetlenek, és a vizsgált kérdéshez hasonló körülmények között keletkeztek.

Szakértői szinten a Mintanagyság ezért nem egyszerű számlálási feladat. Az információ minőségéről, a bizonytalanságról, a statisztikai erőről, a rezsimek lefedettségéről és a becsült Stratégiai előnybe vetett bizalomról szól.

1. Mit mér valójában a Mintanagyság?

A Mintanagyság azt jelenti, hány megfigyelést használunk egy szélesebb populáció valamely tulajdonságának becslésére. Tradingben ez lehet trade, napi hozam, heti hozam, setup, piaci esemény vagy más egyértelműen meghatározott megfigyelési egység.

A kritikus kérdés az, hogy mit jelent egyetlen megfigyelés. Száz, ugyanahhoz a tartós piaci epizódhoz kötődő trade kevesebb független információt tartalmazhat, mint száz valóban különböző körülmények között létrejött trade.

A Mintanagyságnak ezért két oldala van: a megfigyelések mennyisége és információtartalma.

2. Miért segít általában a több trade?

Ha a megfigyelések informatívak és megfelelően függetlenek, a Mintanagyság növelése csökkenti a mintavételi bizonytalanságot. Az olyan becslések, mint az átlagos R-többszörös vagy a találati arány, általában pontosabbá válnak.

Egy átlag esetében a standard hiba egyszerű feltételezések mellett a mintanagyság négyzetgyökével fordítottan arányos. Ez azt jelenti, hogy a megfigyelések számának négyszeresére növelése nem teszi négyszer pontosabbá a becslést; nagyjából felére csökkentheti a standard hibát.

A gyakorlati tanulság: a nagyobb minta segít, de a további adatok haszna csökkenő.

3. A kis minta nagy bizonytalanságot jelent

Egy kis minta szélsőséges eredményt produkálhat. Öt egymást követő nyerő, nagyon magas találati arány vagy szokatlanul erős átlagos R önmagában nem feltétlenül stabil előny jele.

A kis minták különösen érzékenyek a kiugró értékekre és a szokatlan piaci körülményekre. Egyetlen rendkívüli trade jelentősen megváltoztathatja az átlagot.

A helyes reakció nem automatikusan az eredmény elutasítása, hanem annak elfogadása, hogy a becslés bizonytalan, és nem szabad több pontosságot tulajdonítani neki, mint amennyit az adatok indokolnak.

4. Mintanagyság és találati arány

Tegyük fel, hogy egy stratégia 100 trade-ből 70-et nyer. A megfigyelt találati arány 70%, de a mögöttes nyerési valószínűséget nem ismerjük teljes bizonyossággal.

Mindössze 10 trade esetében a 70%-os megfigyelt találati arány nagyon sokféle mögöttes valószínűséggel lehet összeegyeztethető. Megfelelően összehasonlítható, több ezer megfigyelés mellett a becslés sokkal pontosabbá válhat.

A találati arány önmagában továbbra sem mond sokat a jövedelmezőségről. Vizsgálni kell a nyerők és vesztesek eloszlását, az R-többszöröst, a költségeket és a kifizetési aszimmetriát is.

5. Mintanagyság és átlagos R-többszörös

Az átlagos R-többszörös egy másik olyan becslés, amely releváns megfigyelések gyűjtésével stabilabbá válhat. A szükséges minta nagysága azonban erősen függ az eredmények szóródásától.

Egy szűk tartományban mozgó eredményeket adó stratégia hatékonyabban becsülheti az átlagát. Egy szélsőséges pozitív és negatív eredményeket produkáló stratégia több megfigyelést igényelhet.

Ezért a „Hány trade-re van szükségem?” kérdés az eredmények szóródásának figyelembevétele nélkül hiányos.

6. Effektív Mintanagyság

Nem minden megfigyelés ad ugyanannyi független információt. Ha a megfigyelések korreláltak vagy klaszterezettek, a névleges Mintanagyság túlbecsülheti a bizonyíték mennyiségét.

Ilyen például több, ugyanazon hírre adott trade, egyetlen volatilitási sokk alatt keletkező ismételt jel, ugyanarra a szektormozgásra reagáló korrelált részvények, vagy egyetlen tartós piaci rezsimben létrejött sok trade.

A névleges és effektív Mintanagyság megkülönböztetése alapvető a statisztikai bizonyosság értékelésében.

7. Függetlenség és idősoros függőség

Sok statisztikai módszer feltételezi, hogy a megfigyelések függetlenek vagy közel függetlenek. A trading adatok ezt gyakran megsértik.

A hozamok mutathatnak idősoros függőséget. A trade-ek klasztereződhetnek. Egy stratégia éppen akkor generálhat sok jelet, amikor egy adott rezsim tartósan fennáll.

Ha ezt figyelmen kívül hagyjuk, a standard hibát alábecsülhetjük, és a statisztikai következtetés erősebbnek tűnhet, mint amennyire a bizonyíték indokolja.

8. Mintanagyság különböző piaci rezsimekben

Egy stratégiának lehet 2000 történelmi trade-je, miközben a rezsimek lefedettsége gyenge. Ha ebből 1600 egy különösen kedvező környezetből származik, a nyers trade-szám hamis robusztusságérzetet kelthet.

Egy szakértő trader azt vizsgálja, hogyan oszlik meg a minta trendelő, oldalazó, magas és alacsony volatilitású környezetek között, ha ezek relevánsak a stratégia szempontjából.

A rezsimdiverzitás önmagában nem tesz robusszá egy stratégiát, de megmutathatja, mennyire függ az előny egy szűk történelmi körülménytől.

9. A Mintanagyság nem azonos az időtávval

Egy stratégia rövid idő alatt is rendelkezhet sok megfigyeléssel, vagy hosszú idő alatt kevéssel. Ez két különböző típusú bizonyíték.

2000 intraday trade egy év alatt sok megfigyelést jelenthet, de korlátozott információt adhat arról, hogyan viselkedik a stratégia hosszabb távú strukturális változások során. Ezzel szemben 100 trade tíz év alatt széles körű körülményeket fedhet le, de trade-szintű statisztikái zajosabbak lehetnek.

A megfelelő minta a kutatási kérdéstől függ. A gyakoriságot és a naptári lefedettséget együtt kell vizsgálni.

10. Mintanagyság és statisztikai erő

A Mintanagyság a statisztikai erő egyik fő meghatározója. Nagyobb minta általában megkönnyíti egy adott méretű hatás felismerését, ha az adatok és a teszt megfelelőek.

A statisztikai erő azonban a hatásmérettől, a változékonyságtól, a választott szignifikanciaszinttől és a teszt felépítésétől is függ. Egy nagyon kis Stratégiai előny kimutatásához nagy minta kellhet.

Ezért egy kis vizsgálat nem szignifikáns eredményét nem szabad automatikusan úgy értelmezni, hogy nincs előny.

11. Becsülhetőség és validáció különbsége

A nagy minta javíthatja egy becslés pontosságát az adott adatállományon belül, de önmagában nem bizonyítja, hogy a kapcsolat a mintán kívül is fennmarad.

Ez választja el egymástól a becslést és a validációt. Egy backteszt tartalmazhat több ezer trade-et, miközben továbbra is sérülékeny lehet szelekció, paraméterkeresés vagy változó piaci környezet miatt.

A Mintanagyság egy jó kutatási tervben erősíti a bizonyítékot; hibás kutatási tervet azonban nem javít ki.

12. Többszörös tesztelés nagy mintánál is

Egy nagy adatbázis sem véd meg az adatbányászati torzítástól. Ha több ezer stratégiát és paraméterkombinációt tesztelünk, egy sikeres konfiguráció véletlenül is kialakulhat.

Ilyenkor nem csak a nyertes backteszt trade-jeinek száma számít. A teljes kutatási folyamat fontos: hány hipotézist teszteltek, hogyan választották ki a nyertest, és maradt-e érintetlen validációs adat.

A több megfigyelés nem kompenzálja az ellenőrizetlen szelekciót.

13. Mikor elég az adat?

Nincs univerzális trade-szám, amelynél egy stratégia „bizonyítottá” válik. A szükséges Mintanagyság függ a mért hatástól, a változékonyságtól, a döntés tétjétől, a rezsimek sokféleségétől és a kutatási tervtől.

Praktikus megállási szabály lehet a pontosságon alapuló szabály. Például addig gyűjteni az adatot, amíg az átlagos R, találati arány vagy más kulcsparaméter bizonytalansága elég szűkké nem válik a kutatás céljához.

A megállási szabályt célszerű előre meghatározni, mert az eredmények folyamatos figyelése és az utólagos döntés befolyásolhatja a következtetést.

14. Mintanagyság és kockázati döntések

Kis mintát nem célszerű arra használni, hogy pusztán az erős eredmények miatt drasztikusan növeljük a Pozícióméretezést.

A kockázatot a tesztelt kockázati modellhez kell kötni, nem egy rövid sorozat érzelmi hatásához. Tizenkét kiváló trade önmagában nem hoz létre új kockázati kategóriát.

Ahogy a bizonyíték gyűlik, a kockázati feltételezések rendszeresen felülvizsgálhatók, de a Mintanagyság önmagában nem válhat agresszív méretezési engedéllyé.

15. Gyakorlati példa — két stratégia

Az A stratégiának 80 trade-je van, átlagosan +0,40R eredménnyel, de nagyon magas szórással. A B stratégiának 800 trade-je van, átlagosan +0,12R eredménnyel, és sokkal kisebb szórással.

Az A stratégia megfigyelt előnye nagyobb lehet, de a becslése lényegesen bizonytalanabb. A B stratégia stabilabb becslést adhat annak ellenére, hogy az átlagos eredménye kisebb.

A szakértői kérdés nem az, hogy „Melyik szám nagyobb?”, hanem az, hogy „Mennyire bizonytalanok ezek a becslések, mennyire függetlenek a megfigyelések, és milyen bizonyíték van a fejlesztési mintán kívül?”

16. Értelmes minta felépítése

1. A tesztelés előtt határozd meg a megfigyelési egységet.

2. Rögzítsd a stratégia szabályait, és ne módosítsd azokat pusztán a minta javításáért.

3. Gyűjts elegendő kontextust a piaci rezsim és releváns körülmények azonosításához.

4. A költségeket és végrehajtási feltételezéseket következetesen kezeld.

5. Vizsgáld a függőséget és klasztereződést, ne feltételezd automatikusan a trade-ek függetlenségét.

6. Válaszd szét a fejlesztési és validációs adatokat.

7. Ne csak az összesített P&L-t, hanem az R-többszörösök eloszlását is kövesd.

8. Határozz meg ésszerű pontossági vagy bizonyíték-küszöböt az ismételt értékelés előtt.

9. Jelentős piaci struktúraváltozás esetén értékeld újra a minta relevanciáját.

10. A Mintán kívüli bizonyítékot kezeld külön információforrásként.

17. Szakértői esettanulmány — Az 5000 trade illúziója

Egy trader 5000 trade-et tartalmazó backtesztet mutat be, és azzal érvel, hogy a stratégia bizonyítéka rendkívül erős, mert a minta hatalmas.

A további vizsgálat azonban feltárja, hogy a szabályokat több száz variáció tesztelése után optimalizálták, sok trade néhány erősen korreláló instrumentumra koncentrálódik, és a megfigyelések többsége két különösen kedvező piaci rezsimből származik.

Az 5000-es szám valós, de nem jelent 5000 független bizonyítékot. A szakértő azt vizsgálja, mennyi az effektív információtartalom, milyen szelekciós folyamat történt, milyen a rezsimlefedettség, és mit mutatnak az érintetlen validációs adatok.

A tanulság egyszerű: egy nagy szám egy riportban nem ugyanaz, mint nagy mennyiségű független bizonyíték.

18. Gyakori hibák

Egy tetszőleges trade-számot a stratégia érvényességének bizonyítékaként kezelni.

Minden trade-et függetlennek feltételezni.

Az eredmények szóródását figyelmen kívül hagyni a szükséges adatmennyiség meghatározásakor.

Összekeverni a naptári időtartamot a Mintanagysággal.

Összekeverni a névleges és az effektív Mintanagyságot.

Nagy backteszttel elfedni a kiterjedt paraméterkeresést.

Azt hinni, hogy több megfigyelés automatikusan tartóssá teszi a Stratégiai előnyt.

A Pozícióméretezést kizárólag azért növelni, mert a legutóbbi minta nyereséges.

19. Tudásellenőrzés

1. Mit jelent a Mintanagyság egy trading vizsgálatban?

2. Miért csökkenti általában a nagyobb Mintanagyság a bizonytalanságot?

3. Miért nem lesz egy becslés négyszer pontosabb attól, hogy négyszeresére növeljük a mintát?

4. Mi a különbség a névleges és az effektív Mintanagyság között?

5. Hogyan tehetik a korrelált trade-ek nagyobbnak látszóvá a mintát, mint amekkora az információtartalma?

6. Miért kell a Mintanagyságot a piaci rezsimek lefedettségével együtt vizsgálni?

7. Miért nem helyettesíti a naptári időtartam a trade-ek számát, és miért nem helyettesíti a trade-ek száma a hosszabb távú lefedettséget?

8. Hogyan befolyásolja a Mintanagyság a statisztikai erőt?

9. Miért lehet egy 5000 trade-es backteszt is gyenge bizonyíték?

10. Mi határozza meg, hogy egy adott kutatási kérdéshez mikor gyűjtöttünk elegendő adatot?

Copying, reproducing, adapting, distributing, or publicly displaying any part or all of the Academy’s textual content without the author’s prior written consent is prohibited.