next up previous contents
Next: Metropolis-Hastings -algoritmi Up: MCMC-menetelmät Previous: MCMC-menetelmät

Markovin ketjut

Stokastinen prosessi on joukko satunnaisia tiloja $\{ \theta^{(t)} \vert t \in T\}$ jollekin joukolle T. Indeksien joukko (tai parametrijoukko) T voi olla yleisessä tapauksessa jatkuva, mutta Markovin ketjujen tapauksessa se oletetaan numeroituvaksi. Tila-avaruus S voi myöskin olla $
\mathbb {R}
^n$:n osajoukko, mutta oletetaan sekin aluksi numeroituvaksi.

Markovin ketju on stokastinen prosessi, jossa uusi tila $\theta^{(n+1)}$ riippuu vain edellisestä tilasta $\theta^{(n)}$,mutta ei lainkaan mistään aikaisempien tilojen osajoukosta $\{ \theta^{(t)} \vert t \in E \subset \{0,\ldots,n-1 \}\}$:


Alkion siirtymätodennäköisyydet määrää ydin $K_n(\theta,\theta^*)$, joka on numeroituvassa tapauksessa matriisi. Matriisin alkioina ovat todennäköisyydet siirtymiselle tila-avaruuden pisteestä $\theta$pisteeseen $\theta^*$ hetkellä n. Jos todennäköisyydet eivät riipu hetkestä n, ketju on homogeeninen eli stationäärinen ja ydin voidaan kirjoittaa muodossa $K(\theta,\theta^*)$.

Tilajakauma hetkellä n+1 eli $\pi_{n+1}$ voidaan laskea matriisitulona

\begin{displaymath}
\pi_{n+1} = \pi_{n} K_n.\end{displaymath} (5)

Markovin ketjun stationääriseksi tai invariantiksi jakaumaksi kutsutaan jakaumaa $\pi$, jolle pätee

\begin{displaymath}
\pi = \pi K_n, \quad \forall n \in \mathbf{N}.\end{displaymath} (6)

Vastaavasti homogeeniselle Markovin ketjulle voidaan kirjoittaa $\pi = \pi K$ kaikilla n.

Jos Markovin ketju on ergodinen, ketjulla on tasan yksi stationäärinen jakauma ja ketju konvergoi kohti tätä jakaumaa riippumatta alkujakaumasta $\pi_0$, kun $n \rightarrow \infty$.

Haluttaessa konstruoida Markovin ketju, jolle annettu jakauma $\pi$ on stationäärinen, tarvitaan usein ajan suhteen kääntyviä ketjuja. Nämä ketjut toteuttavat tiukemman tasapainoehdon

\begin{displaymath}
\pi(\theta) K(\theta,\theta^*) = \pi(\theta^*) K(\theta^*,\theta),\end{displaymath} (7)

eli siirtyminen pisteestä $\theta$ pisteeseen $\theta^*$ on yhtä todennäköistä kuin siirtyminen pisteestä $\theta^*$ pisteeseen $\theta$.Tällöin $\pi$ on myös Markovin ketjun stationäärinen jakauma.

Jos tilajoukko S on jatkuva, vastaavat tulokset ovat voimassa kuin numeroituvalla tilajoukollakin. Tilajakauma hetkellä n+1 eli $\pi_{n+1}(x)$ voidaan laskea integraalina

\begin{displaymath}
\pi_{n+1}(\theta^*) = \int_S \pi_n(\theta) K_n(\theta,\theta^*) \mathrm{d\theta} .\end{displaymath} (8)

Tai lyhyemmin $\pi_{n+1} = \pi_{n} K_n$. Erona on vain, että sekä ytimet $K_m(\theta,\theta^*)$ ja jakaumat $\pi_m(\theta)$ ovat jatkuvia funktioita.


next up previous contents
Next: Metropolis-Hastings -algoritmi Up: MCMC-menetelmät Previous: MCMC-menetelmät
Simo Särkkä
8/23/1999