Markovljev lanac

U matematici lanac Markova označava diskretni Markovljev slučajni proces. Ime je dobio po Markov Andreju, ruskom matematičaru, koji je glas stekao svojim istraživanjima u ovoj grani nauke. Imati svojstvo Markova znači, ukratko, da pored datog trenutnog stanja, buduće stanje sistema ne zavisi od prošlih. Drugim rečima, to znači, da opis sadašnjosti u potpunosti sadrži informaciju koja može uticati na buduće stanje procesa.

Dakle, pored date sadašnjosti, budućnost ne zavisi od prošlosti. Ništa što se dogodilo u prošlosti, ne utiče, ne daje prognozu u pogledu budućnosti, u budućnosti je sve moguće. Osnovni primer je bacanje novčića – ako prvi put dobijemo glavu, drugi put s podjednakim šansama možemo dobiti glavu ili pismo. Ako pak dobijamo glavu 100 puta zaredom, i tada je verovatnoća da ćemo 101. put dobiti glavu ista kao i da ćemo dobiti pismo – drugim rečima, prošlost ne predviđa budući rezultat. Trenutno stanje je da imamo novčić sa glavom i pismom na svoje dve strane. Pretpostavljajući pravilna izvođenja eksperimenta, ništa drugo ne može uticati na budući ishod.

Drugi primer može da bude slučajna šetnja po brojnoj osi, gde se, pri svakom koraku, pozicija menja za 1 (u jednom ili drugom smeru jednako verovatno). Sa svake pozicije postoje dva moguća prelaza: na sledeći ili na prethodni ceo broj. Verovatnoće prelaza tada zavise samo od trenutnog stanja, a ne od načina kako se do njega došlo. Na primer, ako je trenutna pozicija -3, prelaz u -2 ima verovatnoću 0,5, bez obzira na prethodne pozicije.

U svakom trenutku sistem, na osnovu date raspodele slučajne promenljive, može promeniti stanje, ili ostati u istom. Promene stanja nazivamo prelazima, a verovatnoće, koje se odnose na različite promene stanja, nazivamo verovatnoćama prelaza.

Lanci Markova predstavljaju značajnu klasu zavisnih slučajnih promenljivih. Niz slučajnih promenljivih X₁, X₂, X₃, … nazivamo lancem Markova, ako važi svojstvo Markova, tj.:

${\displaystyle \Pr(X_{n+1}=x|X_{n}=x_{n},\ldots ,X_{1}=x_{1})=\Pr(X_{n+1}=x|X_{n}=x_{n}).\,}$

Moguće vrednosti X_i su iz prebrojivog skupa S. Ovaj skup naziva se skup stanja. Lance Markova možemo prikazati i usmerenim grafovima, gde su čvorovi pojedina stanja, a vrednosti napisane na granama predstavljaju verovatnoće prelaza (u odgovarajućem smeru).

Govorimo o lancu Markova sa stacionarnim verovatnoćama stanja (homogenom lancu Markova), ako verovatnoće prelaza ne zavise od vremena, to jest:

${\displaystyle \Pr(X_{n+1}=j\mid X_{n}=i)=p_{ij}\,}$

nezavisno od n.

Lanci Markova reda m (sa memorijom m) su oni za koje važi (za konačno m):

${\displaystyle \Pr(X_{n}=x_{n}|X_{n-1}=x_{n-1},X_{n-2}=x_{n-2},\dots ,X_{1}=x_{1})}$

${\displaystyle =\Pr(X_{n}=x_{n}|X_{n-1}=x_{n-1},X_{n-2}=x_{n-2},\dots ,X_{n-m}=x_{n-m})}$

za svako n. Drugim rečima, buduće stanje zavisi od m pređašnjih. U slučaju m=1 radi se o prostom lancu Markova.

Prvo je potrebno da uvedemo pojam verovatnoće prelaza za jedan korak:

${\displaystyle p_{ij}=\Pr(X_{1}=j\mid X_{0}=i).\,}$

i pojam verovatnoće prelaza za n koraka:

${\displaystyle p_{ij}^{(n)}=\Pr(X_{n}=j\mid X_{0}=i)\,}$

Prvo označava verovatnoću prelaza iz stanja i u stanje j iz jednog koraka, a potonje iz n koraka, pod pretpostavkom da je ${\displaystyle Pr(X_{0}=i)>0}$.

Za homogene lance Markova:

${\displaystyle p_{ij}=\Pr(X_{k+1}=j\mid X_{k}=i).\,}$

i

${\displaystyle p_{ij}^{(n)}=\Pr(X_{n+k}=j\mid X_{k}=i)\,}$

pa prelazak iz n koraka zadovoljava jednačinu Čepman-Kolmogorova, da za svako k za koje važi 0 < k < n,

${\displaystyle p_{ij}^{(n)}=\sum _{r\in S}p_{ir}^{(k)}p_{rj}^{(n-k)}}$

gde je S skup stanja lanca Markova.

Dokaz

Primenom svojstva Markova i uopštene formule totalne verovatnoće, važi sledeće:

${\displaystyle {\begin{aligned}&{}\quad p_{ij}^{(n)}=\Pr(X_{n}=j\mid X_{0}=i)=\sum _{r\in S}\Pr(X_{n}=j\mid X_{k}=r,X_{0}=i)\Pr(X_{k}=r\mid X_{0}=i)\\&=\sum _{r\in S}\Pr(X_{n}=j\mid X_{k}=r)\Pr(X_{k}=r\mid X_{0}=i)=\sum _{r\in S}p_{ir}^{(k)}p_{rj}^{(n-k)}\end{aligned}}}$

što je trebalo dokazati.

Marginalna raspodela Pr(X_n = x) je raspodela nad stanjima u trenutku n. Početna raspodela je Pr(X₀ = x).

Lanac Markova se naziva ergodičan ako je moguće preći iz bilo kog stanja u bilo koje stanje (ne obavezno u jednom koraku).

Lanac Markova je regularan ako neki stepen matrice prelaza ima samo pozitivne elemente. Drugim rečima, za neko n, moguće je preći iz bilo kog stanja u bilo koje drugo stanje u tačno n koraka. Iz definicije se vidi da je svaki regularan lanac i ergodičan, obrnuto ne mora da važi.

Matrica prelaza je matrica čiji je (i, j)-ti element jednak

${\displaystyle p_{ij}=\Pr(X_{n+1}=j\mid X_{n}=i).\,}$

i ona pokazuje kako su raspoređene verovatnoće prelaza.

Neka je P matrica prelaza za regularan lanac. Tada ${\displaystyle \lim _{n\rightarrow \infty }\mathbf {P} ^{n}=\mathbf {P} ^{*}}$, gde je P* matrica čije su sve vrste jednake p*. Sve komponente vektora p* su pozitivne, i zbir im je 1.

Dokaz

Treba, u suštini, dokazati da elementi svake kolone matrice ${\displaystyle \mathbf {P} ^{n}}$ teže da budu jednaki (tj. da su sve vrste te matrice jednake). Napomenimo da j-ta kolona od ${\displaystyle \mathbf {P} ^{n}}$ je ${\displaystyle \mathbf {P} ^{n}\mathbf {y} }$ gde je y vektor kolona sa jedinicom na j-tom mestu, i nulama na ostalim mestima. Prema tome, praktično treba dokazati da za svaki vektor kolonu y, ${\displaystyle \mathbf {P} ^{n}\mathbf {y} }$ teži konstantnom vektoru kad n teži beskonačnosti. Kako je svaka vrsta matrice P vektor verovatnoća, ${\displaystyle \mathbf {P} ^{n}\mathbf {y} }$ zamenjuje y sa matematičkim očekivanjima njegovih komponenti (vrši neku vrstu uprosečavanja). Komponente vektora ${\displaystyle \mathbf {P} ^{n}\mathbf {y} }$ su bliže jedna drugoj nego komponente vektora y. Pokazaćemo da razlika između maksimalne i minimalne komponente teži nuli kad n teži beskonačnosti. To u suštini znači da verovatnoća da će se sistem naći u nekom stanju posle velikog broja koraka ne zavisi od početnog stanja. Neka je P matrica prelaza dimenzija r×r, bez nultih elemenata. Uzmimo da je l najmanja vrednost u toj matrici. Neka je y vektor kolona sa r elemenata, od kojih je najveći M₀, a najmanji m₀. Neka su M₁ i m₁ najveća i najmanja komponenta (respektivno) vektora ${\displaystyle \mathbf {P} ^{n}\mathbf {y} }$. Pošto je svaki element matrice ${\displaystyle \mathbf {P} ^{n}\mathbf {y} }$ matematičko očekivanje elemenata iz y, najveće moguće očekivanje se može dobiti ako svi (osim jednog) elementi vektora y imaju vrednost M₀, a jedan ima vrednost m₀, i on se množi sa l, da bi najmanje doprinosio. U tom slučaju matematičko očekivanje iznosi

${\displaystyle lm_{0}+(1-l)M_{0}}$.

Slično, najmanje moguće očekivanje je jednako

${\displaystyle lM_{0}+(1-l)m_{0}}$.

Tako,

${\displaystyle M_{1}-m_{1}\leq (lm_{0}+(1-l)M_{0})-(lM_{0}+(1-l)m_{0})=(1-2l)(M_{0}-m_{0})}$.

Ovo će nam pomoći u dokazu fundamentalne granične teoreme za regularne lance Markova. Dokazaćemo teoremu za specijalan slučaj da je P bez elemenata koji su jednaki nuli, a posle ćemo uopštiti. Neka je y vektor kolona sa r elemenata, gde je r broj stanja u lancu. Pretpostavićemo da je r>1 (jer se inače svodi na trivijalno). Neka su M_n i m_n, respektivno, maksimalna i minimalna komponenta vektora ${\displaystyle \mathbf {P} ^{n}\mathbf {y} }$. Vektor ${\displaystyle \mathbf {P} ^{n}\mathbf {y} }$ se dobija množenjem (sleva) vektora ${\displaystyle \mathbf {P} ^{n-1}\mathbf {y} }$ vektorom P. Prema tome, svaka komponenta vektora ${\displaystyle \mathbf {P} ^{n}\mathbf {y} }$ predstavlja srednju vrednost komponenti iz ${\displaystyle \mathbf {P} ^{n-1}\mathbf {y} }$. Tako je ${\displaystyle M_{0}\geq M_{1}\geq M_{2}...}$ i ${\displaystyle m_{0}\leq m_{1}\leq m_{2}...}$. Oba ova niza su monotona i ograničena, ${\displaystyle m_{0}\leq m_{n}\leq M_{n}\leq M_{0}}$. Prema tome, oba niza će imati graničnu vrednost kad n teži beskonačnosti (nizovi su konvergentni). Neka je M granična vrednost od M_n, a m od m_n. Znamo da je ${\displaystyle m\leq M}$. Treba da dokažemo da je M-m=0. Pokazali smo da važi ${\displaystyle M_{n}-m_{n}\leq (1-2l)(M_{n-1}-m_{n-1})}$. Iz ovoga je očigledno ${\displaystyle M_{n}-m_{n}\leq (1-2l)^{n}(M_{0}-m_{0})}$. Kako je ${\displaystyle r\geq 2}$, tako mora biti i ${\displaystyle l\leq 1/2}$, tj. ${\displaystyle 0\leq 1-2l\leq 1}$, a pošto se broj između 0 i 1 diže na eksponent koji teži beskonačnosti, jasno je da će razlika ${\displaystyle M_{n}-m_{n}}$ težiti tada nuli. Prema tome, svi elementi ${\displaystyle \mathbf {P} ^{n}\mathbf {y} }$ će težiti nekom broju u. Neka je sada y vektor čija je j-ta komponenta jednaka 1, a sve ostale su jednake nuli. Tada je ${\displaystyle \mathbf {P} ^{n}\mathbf {y} }$ j-ta kolona od ${\displaystyle \mathbf {P} ^{n}}$. Ponavljajući postupak za svako j dokazuje se da kolone ${\displaystyle \mathbf {P} ^{n}}$ teže konstantim vektorima kolonama. Može se reći da vrste matrice ${\displaystyle \mathbf {P} ^{n}}$ teže zajedničkom vektoru vrsti p*, tj. ${\displaystyle \lim _{n\rightarrow \infty }\mathbf {P} ^{n}=\mathbf {P} ^{*}}$. Ostalo je da se dokaže da su svi elementi matrice P* strogo pozitivni. Ako uzmemo isti vektor kolonu y (sa jednom jedinicom i svim nulama), Py je j-ta kolona od P, a svi njeni elementi su pozitivni (po našoj početnoj pretpostavci). Najmanji element vektora Py je definisan kao m₁, pa je m₁>0. Kako je ${\displaystyle m_{1}\leq m}$, imamo da je i m>0, a ova vrednost m je zapravo j-ta komponenta od p*, pa su prema tome sve komponente p* strogo pozitivne.

Ovaj dokaz se, međutim, odnosio na slučaj da P nema nultih elemenata (nismo pretpostavili da je P regularna). Pretpostavimo da je P regularna. Tada, za neko N, ${\displaystyle \mathbf {P} ^{N}\mathbf {y} }$ nema nula. Dati dokaz pokazuje da M_nN-m_nN teži nuli kad n teži beskonačnosti. Ali, razlika M_nN-m_nN se ne može povećavati (kad je l=0, u najgorem slučaju razlika može ostati ista). Ako znamo da razlike koje se dobiju posmatranjem svakih N puta teže nuli, tada i ceo niz mora težiti nuli. Time je dokaz završen.