Feature Engineering — E-042 Feature engineering / Jellemzőképzés

Bevezetés

A feature engineering, vagyis jellemzőképzés, az a folyamat, amikor a nyers kereskedési adatokat olyan változókká alakítjuk, amelyeket egy modell vagy szabályrendszer fel tud használni. Trading környezetben egy feature leírhatja az ármozgást, a volatilitást, a forgalmat, a trendet, egy relatív pozíciót vagy több megfigyelés kapcsolatát.A haladó kihívás nem az, hogy minél több feature-t hozzunk létre. Hanem az, hogy olyan változókat készítsünk, amelyek értelmes hipotézist képviselnek, nem szivárogtatnak jövőbeli információt, és nem adnak szükségtelen szabadságfokokat a modellnek.Egy feature ezért önmagában nem stratégiai előny. A kutatási folyamat egyik bemenete. Használhatóságát kontrollált módszertannal, megfelelő adatokkal és Mintán kívüli bizonyítékkal kell vizsgálni.

1. Mi valójában egy feature?

A feature egy mérhető bemenet, amelyet egy modell vagy döntési szabály kap. Ilyen lehet például az egynapos hozam, az EMA-tól való távolság, az ATR-rel normalizált mozgás, a relatív forgalom, a gördülő volatilitás vagy az ár helyzete egy közelmúltbeli sávban.Egy feature lehet nyers, transzformált, normalizált, rangsorolt, aggregált vagy más változóval kombinált. A lényeg az, hogy a számítása pontosan definiált és reprodukálható legyen.Kereskedési kutatásban a feature időbélyege ugyanolyan fontos, mint a matematikai képlete. Egy tökéletes formula is érvénytelen feature, ha olyan információt használ, amely a döntés pillanatában még nem állt rendelkezésre.

2. A kereskedési hipotézisből induljunk

A feature engineeringnek kereskedési kérdésből kell kiindulnia, nem abból a vágyból, hogy találjunk valamilyen prediktív változót.Tegyük fel, hogy a hipotézis szerint egy szokatlanul erős rövid távú momentum korlátozott ideig fennmarad. Lehetséges feature lehet a közelmúltbeli hozam, relatív erő, volatilitással korrigált hozam vagy egy trendhez viszonyított távolság.A hipotézis határozza meg, mit érdemes mérni. Ha több száz tetszőleges indikátort létrehozunk, majd megkérdezzük, melyik jósolja legjobban a jövőt, sokkal nagyobb adatbányászati torzítást hozunk létre.

3. Nyers adatok és származtatott feature-ök

A nyers piaci adatok közé tartozhat a nyitó, maximum, minimum, záróár, forgalom, időbélyeg és az instrumentum azonosítója. A származtatott feature ezekből olyan változókat képez, amelyek a modell számára hasznosabb reprezentációt adhatnak.Például a hozam árból, a range a high és low értékből, a normalizált mozgás pedig a hozam és egy volatilitásbecslés kapcsolatából származhat.Minden transzformáció újabb definíciót jelent, amelyet dokumentálni kell. Ha két kutató ugyanazt a fogalmat eltérően számítja, akkor már nem pontosan ugyanazt a kutatási objektumot vizsgálják.

4. Hozamok, változások és különbségek

Az árfolyamszintek gyakran olyan skálainformációt tartalmaznak, amely különböző instrumentumok között nem közvetlenül összehasonlítható. A hozamok és változások összehasonlíthatóbb reprezentációt adhatnak.Az egyszerű hozam például R_t = P_t/P_{t-1} – 1 alakban írható fel. Logaritmikus hozam is használható, ha a kutatási probléma matematikai tulajdonságai ezt indokolják.Nem az a kérdés, hogy melyik reprezentáció univerzálisan jobb. Azt kell vizsgálni, hogy a választott transzformáció illeszkedik-e a hipotézishez, és ugyanúgy működik-e a fejlesztés, a validáció és az éles használat során.

5. Normalizálás és skálázás

A feature-ök nagyon eltérő numerikus skálán mozoghatnak. Egy változó lehet -0,05 és 0,05 között, miközben egy másik értéke több millió is lehet.A skálázás stabilabbá teheti egyes modellek becslését, különösen akkor, ha a modell érzékeny a változók nagyságrendjére. Gyakori megoldás a standardizálás vagy valamilyen tartományalapú transzformáció.A normalizálás azonban maga is okozhat információszivárgást, ha a paramétereit a teljes adathalmazból számítjuk. Idősoros kutatásban a skálázásnak ugyanazt az információs határt kell követnie, mint a stratégiának.

6. Gördülő feature-ök és időablakok

A gördülő feature-ök a közelmúlt adatait foglalják össze. Például gördülő átlag, volatilitás, momentum, forgalmi statisztika vagy egy mozgóátlagtól való távolság.Az időablak hossza önálló kutatási döntés. A 10 gyertyás és a 100 gyertyás mérés nem ugyanazt a hipotézist jelenti.A gördülő számításokat időben is helyesen kell igazítani. Ha egy t időpontban használható feature véletlenül t utáni adatot is tartalmaz, abból előretekintési torzítás keletkezik. Ez az egyik leggyakoribb módja annak, ahogy egy ártalmatlannak tűnő feature hibássá válhat.

7. Volatilitással korrigált feature-ök

Ugyanaz a nyers ármozgás eltérő jelentéssel bírhat különböző volatilitási környezetekben. Egy mozgás volatilitással való elosztása összehasonlíthatóbbá teheti a feature-t különböző rezsimekben.Egy 2%-os elmozdulás például az egyik környezetben szélsőséges, egy másikban teljesen átlagos lehet. Egy ATR-rel vagy hozamvolatilitással korrigált változó ezt a különbséget próbálja megragadni.A volatilitással való normalizálás önmagában nem teremt prediktív erőt. Csak megváltoztatja a reprezentációt, hogy a hipotézist összehasonlíthatóbb formában lehessen tesztelni.

8. Relatív és keresztmetszeti feature-ök

Sok kereskedési kérdés összehasonlító jellegű. Egy részvény hozama például egy indexhez, szektorhoz vagy hasonló vállalatokhoz viszonyítva lehet érdekes.Keresztmetszeti feature lehet a relatív hozam rangsora, benchmarkhoz viszonyított távolság vagy relatív forgalom. Ezeknél pontosan definiálni kell az instrumentum-univerzumot, mert az univerzum kialakítása túlélési torzítást okozhat.A rangsorolásnak szintén időponthelyesnek kell lennie. Az algoritmusnak csak azokat az instrumentumokat szabad ismernie, amelyek a döntés időpontjában ténylegesen az elérhető univerzumban voltak.

9. Feature-interakciók

Egy feature csak egy másik feltétellel együtt válhat informatívvá. A momentum például másképp viselkedhet magas és alacsony volatilitás mellett, vagy egy kitörés más eredményt adhat szokatlanul alacsony likviditás esetén.Az interakciók ezért feltételes hipotéziseket képviselhetnek. Ugyanakkor minden további interakció növeli a modell rugalmasságát.A kutatási kérdés legyen explicit: miért kellene léteznie ennek a kapcsolatnak, és milyen bizonyíték különböztetné meg a véletlenül talált mintázattól?

10. Feature-redundancia és korreláció

Különböző feature-ök közel ugyanazt az információt hordozhatják. Az EMA feletti ár, a mozgóátlag-távolság és egy trenderejű mérőszám jelentős átfedést mutathat.A redundáns változók gazdagabbnak mutathatják a modellt anélkül, hogy valóban független információt adnának hozzá. Növelhetik a zajérzékenységet és megnehezíthetik az értelmezést.A feature-kiválasztásnál ezért nemcsak az egyes változók önálló teljesítményét kell nézni, hanem azt is, hogy adnak-e új információt a már meglévő változókhoz képest.

11. A feature-kiválasztás kutatási döntés

A feature-ök kiválasztása nem semleges előfeldolgozási lépés. A stratégia kutatási folyamatának része.Ha egy kutató 500 jelölt változót tesztel, majd megtartja azt a 12-t, amelyek a legjobb történelmi eredményt adták, akkor a végső feature-készlet magában hordozza a kutatási minta információját, még akkor is, ha magát a modellt közvetlenül nem ezen az 500 változón optimalizálta.Ezért a Data Snooping és a Túltanulás már a gépi tanulási modell betanítása előtt létrejöhet. A feature-kiválasztás kutatási folyamata önmagában is beleégetheti a történelmi mintát a rendszerbe.

12. Hiányzó adatok és rendelkezésre állás

Egy feature csak akkor használható, ha az alapjául szolgáló információ ténylegesen rendelkezésre állt. A hiányzó megfigyeléseket nem szabad csendben olyan értékké alakítani, amely megváltoztatja a változó jelentését.Egy hiányzó forgalmi adat, elérhetetlen fundamentális közlemény vagy késve érkező piaci mező mást jelenthet, mint a valódi nulla.A hiányzó adatok kezelését explicit módon kell definiálni. Bizonyos esetekben a megfigyelés kizárása a helyes, máskor külön hiányzóállapot-változó lehet indokolt.

13. Feature leakage — információszivárgás

Feature leakage akkor történik, amikor a döntési időpontban még nem elérhető információ kerül be a feature-be.Ez történhet jövőbeli gyertyák, utólag módosított fundamentális adatok, teljes mintán számított normalizálás, célváltozóból származtatott változó, univerzumkonstrukció vagy időrendi split előtt elvégzett előfeldolgozás miatt.Az információszivárgás különösen veszélyes, mert a modell nagyon prediktívnak tűnhet. A helyes kérdés mindig az: ezt a konkrét feature-értéket ismerhette volna a rendszer pontosan a kereskedési döntés pillanatában?

14. Feature-ök és statisztikai szignifikancia

Egy jövőbeli hozamokkal látszólag kapcsolatban álló feature még nem feltétlenül statisztikailag meggyőző. A megfigyelt kapcsolat függ a Mintanagyságtól, a változékonyságtól, a kutatási döntések számától és az alkalmazott statisztikai eljárástól.A Statisztikai szignifikanciát ezért a teljes kutatási folyamat kontextusában kell értelmezni. Egy több ezer keresés után megtalált alacsony p-érték nem ugyanazt jelenti, mint egy előre definiált hipotézis eredménye.A gyakorlati jelentőség ugyanilyen fontos. Egy statisztikailag kimutatható hatás lehet túl kicsi ahhoz, hogy túlélje a költségeket, a slippage-et vagy a végrehajtási korlátokat.

15. Feature-ök, várható érték és az R-többszörös eloszlása

A végső kereskedési kérdés sokszor nem az, hogy egy feature milyen erősen korrelál a jövőbeli hozammal. Hanem az, hogy a feature használata javítja-e egy definiált kereskedési folyamat eredményeloszlását.Egy feature növelheti a nyerési arányt, miközben csökkenti az átlagos nyerő nagyságát. Egy másik csökkentheti a nyerési arányt, de növelheti a nyertesek átlagos R-többszörösét. A Várható érték ezeket együtt kezeli.A feature-változtatásokat ezért a tényleges kereskedési döntés szintjén kell értékelni, beleértve a kilépéseket, költségeket és – ahol releváns – a pozícióméretezést.

16. Esettanulmány — A 37. feature

Egy kutató egyszerű momentum modellt indít. Húsz, ésszerűnek tűnő piaci változót ad hozzá. A fejlesztési teljesítmény javul. Ezután több tucat alternatív visszatekintési időt is tesztel, és a legmagasabb történelmi várható értékű konfigurációt választja.A Mintán kívüli teljesítmény erősen visszaesik. Nem feltétlenül maga a feature volt haszontalan. A probléma az, hogy a kutatási folyamat túl sok szabadságfokot használt fel ugyanazon történelmi bizonyíték alapján.Jobb megközelítés lett volna előre definiálni a feature-családot, korlátozni a keresési teret, naplózni a kutatási döntéseket, majd a végső specifikációt valóban nem látott adaton értékelni.

17. Esettanulmány — Hasznos volatilitási feature

Egy kereskedő azt feltételezi, hogy a momentumjelek eltérően viselkednek szokatlanul magas volatilitás mellett. Ahelyett, hogy több egymástól független szűrőt adna hozzá, előre definiál egy volatilitással normalizált momentum feature-t.A feature mérsékelten javítja a fejlesztési várható értéket, és a Mintán kívüli eredmény is javul, miközben az R-többszörös eloszlása ésszerű marad, és a költségek sem törlik el a hatást.Ez még nem bizonyítja a hatás tartósságát. Az evidence azonban erősebb, mert definiált hipotézist képvisel és külön értékelési határon is fennmarad.

18. Készítsünk éles használatra alkalmas feature-öket

Egy feature csak akkor hasznos működésileg, ha éles környezetben ugyanúgy kiszámítható, ahogy a kutatás során. Az élő adatfolyamnak reprodukálnia kell a történelmi definíciót, az időzítést, a hiányzó adatok kezelését és a skálázási szabályokat.Kerüljük azokat a kutatási feature-öket, amelyek olyan információt igényelnek, amely élesben nem érhető el vagy nem számítható megbízhatóan. Egy elméletileg vonzó, de döntési időben nem előállítható változó nem végrehajtható kereskedési input.A végső feature-specifikáció ezért tartalmazza a képletet, bemeneteket, időbélyeget, frissítési gyakoriságot, hiányzóadat-kezelést és az érvényességi ellenőrzéseket.

19. Professzionális feature engineering munkafolyamat

Egy fegyelmezett folyamat így építhető fel:1. Definiáljuk a kereskedési hipotézist.2. Határozzuk meg a feature mögötti gazdasági vagy viselkedési indokot.3. Definiáljuk a pontos adatforrásokat és az információs határt.4. Hozzuk létre a legegyszerűbb feature-t, amely teszteli az ötletet.5. Dokumentáljuk a transzformációkat és paramétereket.6. Ellenőrizzük a hiányzó adatokat, időbélyegeket és rendelkezésre állást.7. Tudatosan vizsgáljuk a redundanciát és az interakciókat.8. Értékeljük a fejlesztési teljesítményt anélkül, hogy folyamatosan az eredményhez igazítanánk a rendszert.9. Védjük a Mintán kívüli adatokat.10. Vizsgáljuk a statisztikai és gyakorlati jelentőséget.11. Elemezzük a Várható értéket, R-többszörösöket, visszaesést és stabilitást.12. Élesítés előtt ugyanúgy reprodukáljuk a feature-t a live adatfolyamban.A cél nem a lehető legnagyobb feature-készlet. Hanem egy kis, értelmezhető változókészlet, amely világos hipotéziseket fejez ki és kontrollált validáción is megállja a helyét.

20. Szakértői gyakorlat — Készíts Feature-dossziét

Válassz egy már létező kereskedési ötletet, és készíts három jelölt feature-ről dossziét.Mindegyikhez rögzítsd: a hipotézist, a pontos képletet, az adatbemeneteket, az időbélyeget, a visszatekintési időt, a normalizálást, a hiányzóadat-szabályt, a várt kapcsolatot, a lehetséges információszivárgási pontot és a beválasztás indokát.Ezután először külön-külön teszteld őket, és csak utána kombináld. Naplózd az összes kutatási döntést, a kizárt változatokat is. Végül a kombinált specifikációt olyan Mintán kívüli adaton értékeld, amelyet a feature-ök kiválasztásához nem használtál.A kulcskérdés nem az, hogy „melyik feature adta a legjobb backtesztet?”, hanem az, hogy „melyik feature-ről maradt hiteles bizonyíték akkor is, amikor kontrolláltuk a kutatási szabadságot?”

21. Tudásellenőrzés

1. Mi a feature a kvantitatív kereskedésben?2. Miért kell a feature engineeringnek hipotézisből kiindulnia?3. Hogyan okozhat információszivárgást a normalizálás?4. Miért sérülékenyek a gördülő feature-ök az előretekintési torzítással szemben?5. Miért okozhat túlélési torzítást a relatív feature?6. Miért kutatási döntés maga a feature-kiválasztás?7. Mit jelent a feature leakage?8. Miért nem elegendő a jövőbeli hozammal való korreláció a kereskedési hasznosság bizonyítására?9. Miért érdemes a feature-változásokat Várható érték és R-többszörös alapján is vizsgálni?10. Mit kell reprodukálni, amikor egy kutatási feature éles kereskedésbe kerül?Az erős válasz felismeri, hogy a feature engineering nem mágikus indikátorok keresése. Egy kereskedési hipotézis fegyelmezett lefordítása mérhető, időhelyes és reprodukálható bemenetekké, amelyek hasznosságának kontrollált kutatáson is meg kell maradnia.

Copying, reproducing, adapting, distributing, or publicly displaying any part or all of the Academy’s textual content without the author’s prior written consent is prohibited.