LPred izračunavanjem kontrastne statistike se določijo poljubne ravni pomembnosti, neupravičene stopnje pomembnosti pa so odvisne od vrednosti, ki jo vzame statistika kontrasta, ki sta odvisni od porazdelitve, ki ji sledijo podatki.
Z drugimi besedami, poljubne ravni pomembnosti bodo vedno enake za različne vrednosti testne statistike, neupravičene stopnje pomembnosti pa bodo različne za različne vrednosti testne statistike.
Ne samovoljno
Ko izpostavimo koncept, značilnost arbitrarnosti pomeni, da vrednost tega koncepta izbere raziskovalec. a priori (pred) izvedbo poskusa, ne da bi se zanašali na kakršne koli povezane informacije.
Vrednost P in sloni
Recimo, da želimo na primer preizkusiti število slonov na travniku.
Pred ogledom travnika in slonov, ki dejansko obstajajo, domnevamo a priori število slonov. Pravimo, da je lahko 10 slonov. Torej, gremo na travnik in preštejemo število slonov, ki jih vidimo: 1, 2, 3, 4, 5, 6 in 7.
Naša nična hipoteza je bila, da je število slonov na travniku enako 10, naša alternativna hipoteza pa je bila, da jih je bilo manj kot 10. Torej, glede na slone, ki jih imamo, bi zavrnili nično hipotezo. Kaj pa, če so na travniku še 3 sloni, ki pa so skriti za drevesi? Zavrnili bi svojo ničelno hipotezo, ko bi lahko bila resnična, če bi namesto štetja slonov izračunali največje število slonov, ki jih lahko sprejme travinje.
Analiza
10 slonov, izbranih na začetku, je bilo povsem samovoljnih, ker nismo videli velikosti travnika in zato ne vemo, ali je 10 slonov veliko ali malo.
Po drugi strani pa, če glede na velikost travnika izračunamo največje število slonov, ki jih lahko sprejme, bomo vedeli, kolikšna je največja vrednost, da ne zavrnemo nične hipoteze. Tako bo iskanje resničnega števila veliko lažje.
Primerjava
Enako velja za stopnje pomembnosti 1%, 5% in 10% v primerjavi s p-vrednostjo. V mnogih kontrastih izberemo stopnjo pomembnosti, ne da bi upoštevali kakršne koli informacije, razen distribucije. Običajno se kot stopnja pomembnosti (alfa) uporablja 5%, pri čemer 95% vzorca ostane znotraj intervala zaupanja.
Problem samovoljne dodelitve ravni pomembnosti je enak problem kot pri primeru slona. Če menimo, da je pravilno uporabiti 5% (stopnja pomembnosti), lahko zavrnemo nično hipotezo, če je najmanj 2% (vrednost p) zavrnjena. Do napačnih rezultatov bi prišli preprosto z nastavitvijo 5% namesto najnižje vrednosti, ki jo je treba zavrniti (2%).
Z drugimi besedami, sklepamo, da je na travniku manj kot 10 slonov, v resnici pa so še 3 sloni, ki pa so skriti. Torej je veliko hitreje izračunati, kakšna je največja ali najnižja stopnja pomembnosti, za katero ne bi zavrnili ali zavrnili nične hipoteze.
Pravilo zavrnitve
Če je vrednost - str < stopnja pomembnosti => zavrnitev H0.
Če je vrednost - str > stopnja pomembnosti => Ni zavrnitve H0.