Multikolinearnost je močno linearno odvisnostno razmerje med več kot dvema pojasnjevalnima spremenljivkama v večkratni regresiji, ki krši Gauss-Markovovo domnevo, ko je natančna.
Z drugimi besedami, multikolinearnost je velika povezava med več kot dvema razlagalnima spremenljivkama.
Poudarjamo, da mora biti linearno razmerje (korelacija) med pojasnjevalnimi spremenljivkami močno. Zelo pogosto je, da so pojasnjevalne spremenljivke regresije povezane. Torej je treba poudariti, da mora biti ta odnos močan, vendar nikoli popoln, da se lahko šteje za primer multikolinearnosti. Linearno razmerje bi bilo popolno, če bi bil korelacijski koeficient 1.
Ko pride do tega močnega linearnega (vendar ne popolnega) razmerja le med dvema razlagalnima spremenljivkama, rečemo, da gre za kolinearnost. Multikolinearnost bi bila, če se močno linearno razmerje pojavi med več kot dvema neodvisnima spremenljivkama.
Gauss-Markova predpostavka o natančni ne-multikolinearnosti določa, da pojasnjevalne spremenljivke v vzorcu ne morejo biti konstantne. Poleg tega med pojasnjevalnimi spremenljivkami ne sme obstajati natančnih linearnih razmerij (nobena natančna multikolinearnost). Gauss-Markov nam ne dovoljuje natančne multikolinearnosti, ampak približuje večkolinearnost.
Regresijska analizaAplikacije
Obstajajo zelo posebni primeri, običajno nerealni, v katerih so regresijske spremenljivke popolnoma nepovezane. V teh primerih govorimo o eksogenosti pojasnjevalnih spremenljivk. Družbene vede so na splošno znane po tem, da v svoje regresije vključujejo približno multikolinearnost.
Natančna multikolinearnost
Natančna multikolinearnost se pojavi, kadar sta več kot dve neodvisni spremenljivki linearna kombinacija drugih neodvisnih spremenljivk v regresiji.
Težave
Ko Gauss Markov prepoveduje natančno multikolinearnost, je to zato, ker ne moremo dobiti ocenjevalnika navadnih najmanjših kvadratov (OLS).
Matematično izražanje ocenjene beta pod-i v matrični obliki:
Torej, če obstaja natančna multikolinearnost, povzroči, da ima matrica (X'X) determinanto 0 in zato ni obrnljiva. Če ni obrnljivo, pomeni, da ni mogoče izračunati (X'X)-1 in posledično niti ocenjena Beta sub-i.
Približna večkolinearnost
Približna multikolinearnost se pojavi, ko več kot dve neodvisni spremenljivki nista ravno (približek) linearna kombinacija drugih neodvisnih spremenljivk v regresiji.
Spremenljivka k predstavlja naključno spremenljivko (neodvisno in enako porazdeljeno (i.i.d)). Pogostost vaših opazovanj lahko zadovoljivo približamo standardni normalni porazdelitvi s povprečjem 0 in varianco 1. Ker gre za naključno spremenljivko, pomeni, da bo pri vsakem opazovanju i vrednost k drugačna in neodvisna od predhodne vrednosti.
Težave
Matematično izražanje v matrični obliki:
Torej, če obstaja približna multikolinearnost, povzroči, da je matrica (X'X) približno 0 in koeficient določljivosti zelo blizu 1.
Rešitev
Večkolinearnost lahko zmanjšamo z odpravo regresorjev spremenljivk z visokim linearnim razmerjem med njimi.
Linearni korelacijski koeficient