S-114.1310 Principles of Modeling and Information Theory
	TKK / Yksiköt / LCE / Opetus / Kurssit / S-114.1310

UUTISIA: Seuraava tentti järjestetään 3.10.2006 klo 9-12 salissa B317 (Laskennallisen tekniikan laboratorio, Innopoli 2). Ilmoittautuminen Webtopissa tai luennoitsijalle sähköpostilla. HUOM! Kyseessä on viimeinen mahdollisuus suorittaa vuoden 2005 kurssi!

Tenttituloksia: Tulokset 14.12.05, Tulokset 10.1.06 Tulokset 24.1.06 Tulokset 23.3.06

Opettaja: DI Janne Ojanen

Sisältö: Opintojakso antaa valmiudet informaatioteorian soveltamiseen mallintamisessa keskittyen malliluokan valinnan, mallin parametrien optimaalisen lukumäärän ja parametriarvojen määrittämisen ongelmiin. Opintojaksolla perehdytään tarvittavaan informaatioteoriaan ja tilastomatematiikkaan ja erilaisiin informaatioteoriaan ja tilastomatematiikkaan pohjautuviin mallinnusperiaatteisiin.

Aikataulu:

• Luentoja 18h ja laskuharjoituksia 6h (3+1).
• Luennot pidetään tiistaisin (alkaen 1.11) salissa B317 (Innopoli 2) klo 8-10 ja tortaisin klo 8-9.
• Harjoitukset pidetään (alkaen 1.11) torstaisin salissa B317 klo 9-10.
• Ensimmäinen tentti ke 14.12.2004 9-12 salissa S1.

Esitiedot: Tilastomatematiikan ja todennäköisyyslaskennan perusteet.

• 1. Viikko

  Kurssin sisällöstä ja käytännön asioista. Mitä mallintaminen on. Informaatioteorian esittely ja käsitteitä.

• 2. Viikko

  Parametrien estimointi. Lähestymistavat: Maximun Likelihood ja Bayes -päättely. Estimaattorit ja niiden tehokkuus.

• 3. Viikko

  Cramer-Raon epäyhtälö ja Fisherin informaatio. Informaationkriteerit: perusteita ja käyttöesimerkkejä. Akaiken informaatiokriteeri.

• 4. Viikko

  Algoritminen lähtestymistapa: stokastinen kompleksisuus ja MDL -periaate.

• 5. Viikko

  Normalized Maximum Likelihood -periaate. HUOM! Ei kuulu tenttivaatimuksiin

• 6. Viikko

  Numeeriset informaatiokriteerit: bootstrap ja ristiinvalidointi.

Suoritus: Tentti ja harjoitustyö.

Tenttivaatimukset:

• Prujun kappaleet 1 (ei 1.6), 3, (ei 3.3), 4, 10.1-10.3
• Laskarit, luentokalvot (ei NML kohtia, viidensistä luennoista)
• Lisämateriaali pääpiirteittäin, esim. tarkkoja informaatiokriteerien kaavoja ei tarvitse osata.

  Luentomoniste

  PS.GZ:
  

  Lisämateriaali

  PS:
  PDF:

  Luentokelmut

  ( Viikko 1: PS ) ( Viikko 1: PDF )

  ( Viikko 2: PS ) ( Viikko 2: PDF )

  ( Viikko 3: PS ) ( Viikko 3: PDF )

  ( Viikko 4: PS ) ( Viikko 4: PDF )

  ( Viikko 5: PS ) ( Viikko 5: PDF )

  ( Viikko 6: PS ) ( Viikko 6: PDF ) Harjoitukset (4 kpl) Harjoitus 1 Ratkaisut (PS) Harjoitus 2 Ratkaisut (PS) Harjoitus 3 Ratkaisut (PS) Harjoitus 4 Ratkaisut (PS) Harjoitus 1 Ratkaisut (PDF) Harjoitus 2 Ratkaisut (PDF) Harjoitus 3 Ratkaisut (PDF) Harjoitus 4 Ratkaisut (PDF) MatLab -demot ( Demo 1: Laskari 1, tehtävä 4: Yhteisinformaatio ) ( Demo 2: Polynomimallin sovitus dataan ) Harjoitustyö HUOM! Työn voi tehdä myös kahden hengen ryhmissä!! Työn deadline on 31.1.2006. Palauta selkkarissa työn ohjeessa pyydetyt asiat + koodit sähköpostilla osoitteeseen jiojanen (at) lce.hut.fi Käytettävä data: sunspot.dat Harjoitustyöohje PS PDF Harjoitustyövinkkejä PS PDF Lisää harjoitustyövinkkejä .txt Questions: Janne Ojanen, M.Sc. HUT/LCE Puh: 451 5733 email: jiojanen miumau lce.hut.fi Tästä sivusta vastaa jiojanen(miumau)lce.hut.fi Sivua on viimeksi päivitetty 1.9.2006 URL: http://www.lce.hut.fi/teaching/S-114.310/