LCE Kotisivu

S-114.1310 Mallintamisen ja informaatioteorian perusteet

Syksy 2007 (3 op)

In English


UUTISIA:

Tuloksia:


Opintojakso antaa valmiudet informaatioteorian soveltamiseen mallintamisessa keskittyen malliluokan valinnan, mallin parametrien optimaalisen lukumäärän ja parametriarvojen määrittämisen ongelmiin. Opintojaksolla perehdytään tarvittavaan informaatioteoriaan ja tilastomatematiikkaan ja erilaisiin informaatioteoriaan ja tilastomatematiikkaan pohjautuviin mallinnusperiaatteisiin.

Opettaja
DI Janne Ojanen (luennot), DI Pasi Jylänki (laskuharjoitukset)
Aikataulu
Kurssi järjestetään lukuvuonna 2007-2008 jaksolla II. Luentoja on yhteensä 18 tuntia ja laskuharjoituksia 6 tuntia. Luennot ja harjoitukset pidetään Laskennallisen tekniikan laboratorion luentosalissa B317, Innopoli 2 (katso kartta).
Esitiedot
Tilastomatematiikan ja todennäköisyyslaskennan perusteet, esimerkiksi Mat-1.2600 Sovellettu todennäköisyyslaskenta A tai Mat-1.2620 Sovellettu todennäköisyyslaskenta B. Matlab-ohjelmiston peruskäyttö.
Ilmoittautuminen
Ilmoittautuminen joko WebTopissa tai lähettämällä sähköpostia luennoitsijalle (jiojanen@lce.hut.fi).
Suorittaminen

Tentti ja pakollinen harjoitustyö.

Tenttiaikataulu:

Harjoitustyön aikataulu:

Kieli
Kurssin luennot ja laskuharjoitukset pidetään suomeksi. Kurssin suorittamiseen tarvittava materiaali on saatavilla englanniksi.

Kurssin sisältö

Kurssin alustava sisältö:

Tenttivaatimukset

Luentokalvot ja laskuharjoitukset ovat tenttiin vaadittava materiaali. Kurssin lisämateriaaleista voi olla hyötyä, mutta tentti laaditaan kalvoissa ja laskuharjoituksissa käytyjen asioiden perusteella.

Harjoitustyö

Harjoitustyöraportin alkuun oma nimi, opiskelijanumero ja sähköpostiosoite. Noudata harjoitustyön ohjeita palautuksen suhteen (tehtävien vastaukset, aikataulut, tiedostomuodot, yms.). Harjoitustyön voi suorittaa myös parityöskentelynä. Tällöin palautetaan yksi yhteinen raportti, ei kahta erikseen.

Harjoitustyö arvostellaan asteikolla hyväksytty/hylätty.

Harjoitustyöohje PDF
Matlab-pohjat ex1_poly.m ex2_ar.m
Käytettävät datat Tehtävä 1 Tehtävä 2

Luentokalvot

Kaikki luentokalvot yhdessä tiedostossa:

Lecture slides (8 kalvoa sivulla, PDF) Lecture slides (8 kalvoa sivulla, PS)
Lecture slides (4 kalvoa sivulla, PDF)
Luentokalvot (2 kalvoa sivulla, PDF)

Yksittäiset luennot (PostScript, 8 kalvoa sivulla):

1.11. Lecture 1 Lecture 2
6.11. Lecture 3 Lecture 4
8.11. Lecture 5
13.11. Lecture 6 Lecture 7
15.11. Lecture 8
20.11. Lecture 9 Lecture 10
22.11. Lecture 11
27.11. Lecture 12 Lecture 13
04.12. Lecture 14 Lecture 15
11.12. Lecture 16 Lecture 17
13.12. Lecture 18

Harjoitukset

8.11. Harjoitus 1 (PDF) Malliratkaisu 1 (PDF)
15.11. Harjoitus 2 (PDF) Malliratkaisu 2 (PDF)
22.11. Harjoitus 3 (PDF) Malliratkaisu 3 (PDF)
29.11. Harjoitus 4 (PDF) Malliratkaisu 4 (PDF)
29.11. Harjoitus 5 (PDF) Malliratkaisu 5 (PDF)
13.12. Harjoitus 6 (PDF) Malliratkaisu 6 (PDF)

Lisämateriaali

David MacKayn informaatioteoriaa käsittelevä kirja on ilmaiseksi luettavissa sähköisessä muodossa osoitteessa http://www.inference.phy.cam.ac.uk/mackay/itila/book.html . Kirjan sisältö kattaa kurssilla käsiteltävistä asioista lähinnä informaatioteorian, koodauksen ja Bayesilaisten menetelmien aihealueet.

W.D. Pennyn pitämän signaalinkäsittelykurssin luentomoniste löytyy osoitteesta http://www.fil.ion.ucl.ac.uk/~wpenny/course/course.html . Lisämateriaalin luvut 1, 2.1-2.5, 3 (ei 3.3), 4 ja 10.1-10.3 ovat kurssin sisällön kannalta oleellisia.

Hyvä johdatus moderniin MDL-teoriaan löytyy Peter Grünwaldin kirjasta Minimum Description Length - Theory and Applications. Kirjan kaksi ensimmäistä johdatuslukua on saatavilla hänen kotisivuiltaan http://homepages.cwi.nl/~pdg/publicationpage.html nimellä A Tutorial Introduction to the Minimum Description Principle.


Täydentävää kirjallisuutta

Taustatietoja ja syventävää materiaalia, ei vaadita tentissä.

Todennäköisyyslaskennan perusteita:

Informaatioteoriaa:

Tilastollisen mallintamisen perusteita:

Minimum Description Lenght -periaate:


Kysymykset ja kommentit:

DI Janne Ojanen
TKK/LCE
Puh: (09) 451 4837
email: jiojanen@lce.hut.fi


Tästä sivusta vastaa jiojanen@lce.hut.fi
Sivua on viimeksi päivitetty 28.08.2007
URL: http://www.lce.hut.fi/teaching/S-114.1310/2007/