next up previous contents
Next: References Up: Esimerkkejä Previous: Suoransovitus

MLP-verkon opetus MCMC:llä

MLP-verkon opetuksessa käytetty malli on hyvin samankaltainen kuin suoransovituksessakin. Käytetään nyt yhden piilokerroksen MLP-verkkoa, jonka kolmen piiloneuronin aktivaatiofunktiona on $\tanh(x)$ ja toinen kerros on lineaarinen. Syötelinjoja on yksi samoin kuin tulostelinjojakin. MLP-verkon laskema funktio on tällöin

\begin{displaymath}
f(x;w) = \sum_{i=1}^{H} w_{2i} \tanh\left( w_{1i} x + b_{1i} \right) + b_{21}.\end{displaymath} (49)

Käytetty todennäköisyysmalli on samankaltainen kuin suoransovituksen tapauksessa. Nyt kuitenkin ensimmäisen kerroksen parametreilla on yksi yhteinen hyperparametri, samoin toisella kerroksella kuten ensimmäisen kerroksen bias-termilläkin. Toisen kerroksen bias-termillä ei ole lainkaan hyperparametria.

Tarkoituksena oli opettaa verkko laskemaan sinifunktion arvoja sille näytettyjen 20 kohinaisen sinifunktion näytteen avulla. Opettamiseen käytettiin Frexible Bayesian Models -ohjelmistoa, johon on toteutettu kaikki kirjassa Neal (1996) esitellyt bayesilaiset neuroverkkojen opetusmenetelmät.

Kuvassa 4.9 on esitettynä alkuperäinen data, prediktiivisen posteriorijakauman keskiarvo, prediktiivisen jakauman simulaatioita sekä simulaatioista muodostettu kernel-estimaatti.


  
Figure 4.9: Alkuperäinen data sekä neuroverkon prediktiivinen jakauma
\begin{figure}
\begin{center}

\includegraphics [width=12cm, height=5cm, angle=0]{sin.eps}
\end{center}\end{figure}

PSRF-arvon käyttäytyminen ajan funktiona on esitetty kuvassa 4.10. Kuvasta voidaan hyvin havaita arvojen konvergoituminen ykköstä kohden. Kuvassa 4.11 on esitettynä hairiness-kuvaaja, josta voidaan tutkia kuinka nopeasti eri parametrit konvergoivat. Mitä pienempiä arvoja funktio saa, sen hitaammin parametri konvergoi.


  
Figure 4.10: PSRF-arvojen käyttäytyminen
\begin{figure}
\begin{center}

\includegraphics [width=12cm, height=8cm, angle=0]{sinpsrf.eps}
\end{center}\end{figure}


  
Figure 4.11: Hairiness-kuvaaja
\begin{figure}
\begin{center}

\includegraphics [width=12cm, height=8cm, angle=0]{sinhair.eps}
\end{center}\end{figure}

Autokorrelaatiot vaikuttavat myös parametrien arvojen konvergoimiseen. Kuvassa 4.12 on esitettynä autokorrelaatiot järjestyksessä IW,Ib,LW,Lb. Valitettavasti värit eivät näy ja todellisuudessa tarkastelu tehtäisiin joko näytöltä tai paperilta väreissä tulostettuna.


  
Figure 4.12: Autokorrelaatiot
\begin{figure}
\begin{center}

\includegraphics [width=12cm, height=8cm, angle=0]{sinauto.eps}
\end{center}\end{figure}


next up previous contents
Next: References Up: Esimerkkejä Previous: Suoransovitus
Simo Särkkä
8/23/1999