Mitä ovat Markov Chain Monte Carlo -menetelmät?

Markov Chain Monte Carlo -menetelmillä eli MCMC -menetelmillä on mahdollista tuottaa sekvenssi $\{ \theta^{(0)},\ldots,\theta^{(n)} \}$, joka on jakautunut tunnetun jakauman $p(\theta)$ mukaisesti. Kyseessä on siis pseudosatunnaislukugeneraattori, joka tuottaa satunnaislukuja jakaumasta $p(\theta)$. Jakaumasta tuotetut arvot voivat olla mielivaltaisen tyyppisiä - yleensä $\theta\in \mathbb {R} ^d$.

Menetelmien periaatteena on se, että aluksi arvotaan jokin alkupiste $\theta^{(0)}$. Tämän avulla tuotetaan uusia pisteitä $\theta^{(1)},\theta^{(2)},\ldots$ simuloimalla Markovin ketjua, jonka stationäärinen jakauma on jakauma $p(\theta)$. Se, miten ketju konstruoidaan ja kuinka sitä käytetään riippuu menetelmästä.