Backtest je način za preverjanje učinkovitosti strategije v preteklosti. Ali to orodje resnično deluje?
Ko začnete v svetu trgovanja, je ena prvih stvari, ki se jih naučite, koncept preizkusov nazaj. To pomeni, da je pred uporabo strategije priporočljivo, če ne nujno, preveriti rezultate nekaterih pravil v prejšnjih obdobjih. Tem pravilom pravimo sistem trgovanja ali preprosto sistem. Koncept sam ali vsaj ideja je zelo dobra. Čeprav se nam zdaj zdi očitno, ni bilo vedno. Še več, tudi danes obstajajo trgovci ali vlagatelji, ki po pomoti ali opustitvi raje zaupajo svoj kapital prihodnosti usode.
Očitno vsi špekulirajo s svojim kapitalom, kot se mu zdi primerno. Seveda se zdi, da vsaj z enim klikom stran, da vsaj poskusimo preveriti, in z relativno lahkoto donosov, ki jih je imela strategija v preteklosti, vsaj absurdno.
Opomba: Izpustili smo tiste dele analize, ki niso merljivi. Nekaj, kar se zgodi pri vseh vrstah analiz. Vedno nekaj pogrešamo.
Pretekli donosi ne zagotavljajo prihodnjih donosov
Nekateri, ki neradi izrazijo svoje strategije, lahko trdijo - in zelo dobro trdijo -, da pretekli donosi ne zagotavljajo prihodnjih donosov. Toda ob upoštevanju, da imajo prav, vedno pridem do naslednjega zaključka: če ne morete zagotoviti, da bo to, kar je delovalo, delovalo še naprej, kaj misli, da bo to, kar ni delovalo, delovalo zdaj. Lahko deluje? Da, ampak zdi se bolj kot dejanje vere kot karkoli drugega.
Upanje je zadnja stvar, ki jo je treba izgubiti, kajti pred izgubo boste zagotovo izgubili svoj kapital.
Tudi backtest ne deluje
Z mislijo na misel, da je backtest boljši od zanašanja na astrologijo, moramo še naprej izpopolnjevati, da ne bomo naredili enakih napak, kot so jih delali in na žalost še vedno delali številni trgovci.
Na tej točki moramo dati olje na platno, da potrdimo, da je backtest boljši od zanašanja na naključnost cilja, vendar še zdaleč ni dovolj.
Zakaj ni dovolj?
Zadosten test je dovolj, da preverimo, ali bi ob uporabi določenega sistema trgovanja v preteklosti ustvarili določene rezultate. Toda orodje se tam konča. Sama beseda pravi: "Nazaj" (preteklost) in "preizkus" (dokaz). Ekstrapoliranje, brez nadaljnje analize, je nekatere rezultate še vedno - čeprav v manjši meri - še eno dejanje vere. Ker je po naključju lahko še naprej deloval in je našel sistem, ki deluje, ne da bi vedel, zakaj ali da deluje, in ne veste, do kdaj. Takšen postopek nekaterih kvantitativnih analitikov je v nasprotju z njihovo nenehno kritiko tehnične analize. To pomeni, da kritizirajo nekaj, kar sami nezavedno vsak dan uporabljajo.
Kaj je za analizo?
Ob predpostavki, da ima sistem fiksne parametre, je treba preveriti njegovo veljavnost v različnih tržnih okoljih. Tudi v okoljih, ki ne obstajajo. Preverite, kako bi sistem deloval v okoljih z visoko nestanovitnostjo in nizko volatilnostjo, pred in po strukturnih spremembah, na bikovih, medvedjih in stranskih trgih. In tako bi lahko nadaljevali skoraj v nedogled.
Če ima sistem spremenljive parametre, kar se običajno zgodi v večini primerov, bomo izvedli enak postopek, vendar ob upoštevanju, da je sistem mogoče spremeniti in zato optimizirati. Že samo dejstvo, da ga je mogoče optimizirati, je dovzetno za pretirano optimizacijo. Ta točka je ključnega pomena, da bi v prihodnosti poskušali doseči stabilne donose.
Običajni korak po iskanju strategije, ki je v preteklosti dobro delovala, je poskusiti optimizirati model. Velika napaka. Najprej bi ga morali spraviti v napetost ali kar jaz imenujem poudarjanje sistema. Dajte ga delovati v najslabšem možnem okolju, znanem po takšnih sistemih. Če imamo na primer sistem trendov, ga bo treba delovati v daljših bočnih obdobjih, da bomo videli, kako se obnaša, kadar ni ugodnega scenarija za ustvarjanje donosnosti iz sistema. Razlog za zgoraj je ta, da ne vemo, kaj se bo zgodilo v prihodnosti, zato se postavljamo v najslabši možni scenarij, kolikor je mogoče daleč od neizogibne (in zaželene) naključnosti.
Kaj storiti, razen poudariti?
Koncepti, ki vse spremenijo, so preizkus naprej in preizkus iz vzorca. Če pa ne vemo prihodnosti, kako bomo preizkusili nekaj o nečem, česar ne poznamo? Na voljo imamo dve možnosti, ki jih bomo kmalu videli. Po drugi strani imamo koncept brez vzorca. Izbira tega vzorca - kar priporočam, da jih je kar nekaj (ne le enega) in z verjetnostnimi porazdelitvami, ki imajo različne značilnosti - je bistvenega pomena za dosego sistema, ki deluje. Ideja je, da se backtest in optimizacija izvajata v različnih obdobjih. Tako bodo ostali brezplačni vzorci. Čeprav je to odvisno od analitikovega okusa. To lahko storimo na drug način, lahko pa pademo v statistične napake, ki niso cilj tega članka.
- Prvi način izvedbe postopka je tisto, kar bomo poimenovali tradicionalni: naredimo sistem, ga optimiziramo in po preučitvi nekaterih meritev ga uporabimo s fiktivnim denarjem ali z malo pravega denarja. Če bo šlo vse v redu, bomo to resnično uresničili.
- Drugi način izvedbe postopka je tisto, kar bomo poimenovali "nov", čeprav ima v resnici malo novega: izvajamo sistem, ga optimiziramo, preverjamo stabilnost parametrov skozi čas, izvajamo izven vzorčni preizkusi, umetni preizkusi naprej in smo ga začeli delati s pravim testom naprej. Če bo šlo vse v redu, bomo to resnično uresničili.
Drugi način postopka v primerjavi s prvim temelji na dveh konceptih: stabilnost parametrov skozi čas in umetni preskusi naprej. Umetni preizkusi naprej niso vrsta preizkusov brez vzorca, ki poskušajo simulirati pravi preizkus naprej. Pomislimo na naslednje:
V zadnjem letu smo naredili postopek za sistem. Če ga začnete delati od tega meseca (julij) do konca leta (decembra), je tako rekoč enako kot premik naprej vseh 6 mesecev in simulacijo preizkusa naprej od januarja do julija. Ni enako, saj nam resnične razmere vedno ponujajo situacije, ki si jih je težko izmisliti, vendar napredujemo naprej in dosegamo boljše rezultate. In po tistih "izumih", ker so dejansko izumi, smo izvedli naprej preizkus v realnem času. To mislim z umetnimi naprednimi testi. Nekaterim to morda ni všeč, vendar je razmišljanje drugače duševno pristransko. Če bi to strategijo odkrili 6 mesecev prej, bi storili enako.
Po drugi strani pa imamo stabilnost sistemskih parametrov skozi čas. Zame je to najpomembnejša metrika in nam pove, ali je sistem preveč optimiziran. Če parametri sčasoma ostanejo stabilni po optimizacijah vsakih X obdobij, to pomeni, da je manj verjetno, da bodo parametri preveč optimizirani kot drugi, ki se bolj razlikujejo. Če k temu dodamo, da pri vsaki od optimizacij izvedemo umetni preizkus naprej in so tudi rezultati stabilni, se soočamo s sistemom z verjetnostjo, da bomo resnično donosni.
Vse to lahko postane veliko bolj zapleteno. Čeprav se zdi zapleteno, ni. Je težek, vendar preprostejši od mehanizma vrča. Kot vedno ima vsak svoj način početja, to ni edini način, toda hotel sem pojasniti, da je backtest brez spremljevalcev nekoristen in neuporaben. Vsaj seveda v svetu trgovanja.
