LCE Kotisivu

S-114.780 Havaitseminen ja toiminta (S04)

 

Emootiokoe

Aihepiirit: Liikkeen havaitseminen, kasvonilmeiden tunnistaminen, emootiot, perustunteet.

Tausta
Kokeessa tutkittiin sumentamisen vaikutusta emootioiden tunnistamiselle staattisista ja liikkuvista kasvonilmeistä. Sumentaminen oli toteutettu karsimalla korkeita spatiaalitaajuuksia alkuperäisistä kasvoärsykkeistä alipäästösuodatuksen avulla (korkeammat spatiaalitaajuudet vastaavat kuvan tarkempia yksityiskohtia). Aiemmissa tutkimuksissa on etsitty optimaalista spatiaalitaajuuskaistaa henkilöllisyyden [1-3] ja audiovisuaalisen puheen [4] tunnistamiselle kasvoärsykkeistä. Vastaavia tutkimuksia emootioiden tunnistamisesta on olemassa niukalti (vrt. [5], joka on kirjoitettu japaniksi). Spatiaalitaaajuuksiin liittyvissä tutkimuksissa on käytetty joko kuvia tai videoita kasvoista, mutta ei vertailtu niitä keskenään liikkeen tuoman lisähyödyn selvittämiseksi. Muut aiemmat henkilöllisyyden tunnistamiseen liittyvät tutkimukset kuitenkin osoittavat, että liikkeestä on hyötyä tunnistettaessa henkilöllisyyttä eri tavoin huononnetuista kasvoärsykkeistä [6-8].

Tutkimushypoteesit olivat seuraavat: 1) kriittinen sumennustaso emootioiden tunnistamiselle videoista vastaa aiemman audiovisuaalisia ärsykkeitä käyttäneen tutkimuksen [4] tuloksia; ts. emootiot tunnistetaan alkuperäistä vastaavasti alipäästösuodatuksen rajataajuuden ollessa vähintään 7 s/k (sykliä/kasvonleveys), 2) liike edesauttaa emootioiden tunnistusta tätä sumennustasoa alemmilla sumennustasoilla ja 3) liikkeen tuoma lisähyöty sumennetuille kasvonilmeille riippuu esitetystä emootiosta. Lisäksi voitiin odottaa, että tuloksissa näkyy myös näyttelijöiden välisiä eroja.

Alustavat tulokset (lopussa) ovat esitettyjen hypoteesien mukaisia, tosin emootiot tunnistettiin alkuperäistä huonommin jo rajataajuudella 7 s/k.

Menetelmät
Kasvonilmeärsykkeinä käytettiin kuutta perustunnetta (iloisuus, surullisuus, pelko, yllätys, viha ja inho) ilmaisevia kasvonilmeitä. Kasvonilmeet valikoitiin TKK:lla kerätystä kokoelmasta, joka sisältää kuvauksia näyttelijöiltä ja näyttelijäopiskelijoilta. Kokoelman kuuden näyttelijän joukosta valittiin neljä näyttelijää, joiden kasvonilmeet ilmaisivat aiemman alustavan arvioinnin pohjalta haluttuja perustunteita kaikkein yksiselitteisimmin. Kasvonilmeiden samankaltaisuus varmennettiin kasvonilmeidenluokittelujärjestelmän FACS [9] avulla.

Osallistujat olivat Teknillisen Korkeakoulun (TKK:n) opiskelijoita kognitiivisen teknologian pääainekursseilta. Osallistuminen kokeeseen tapahtui joko pakollisena osana kurssin harjoitustöitä tai vapaaehtoisesti. Osallistujia oli yhteensä 84, joista miehiä 50 (60%) ja naisia 34 (40%). Osallistujien keski-ikä oli 24.0 vuotta (keskihajonta 3.4, ikähaarukka 20-43 vuotta). Kahden osallistujan äidinkieli oli muu kuin suomi, heistä toinen ymmärsi suomea erinomaisesti ja toinen teki kokeen englanninkielisenä.

Osallistujat jaettiin viiteen 16-18 hengen ryhmään. Yksi ryhmä näki alkuperäiset kasvonilmeet muokkaamattomina. Loput ryhmistä näkivät alipäästösuodattamalla sumennettuja kasvonilmeitä. Eri ryhmien näkemissä versioissa käytettiin alipäästösuodatukselle neljää eri rajataajuutta: 1.83, 3.66, 7.33 ja 14.66 s/k (kts. kuva 1). Ryhmien kokoa ei ole vielä tasapainotettu, eikä niistä ei ole poistettu selvästi muista poikkeavia tuloksia.

lpf<1.83
lpf<3.66
lpf<7.66
lpf<14.66
original
1
(<1.83s/k)
2
(<3.66s/k)
3
(<7.33s/k)
4
(<14.66s/k)
5
(alkup.)
Kuva 1: Esimerkkejä sumennetuista kuvista. Kuvien järjestys eniten sumennetusta (1) vähiten sumennettuun (4) ja sumentamattomaan (5).

Tehtävänä oli arvioida asteikolla 1-7 (1 täysin eri mieltä, 4 ei osaa sanoa, 7 täysin samaa mieltä) kuinka hyvin kukin perustunne soveltuisi nähdyn henkilön tunnetilaan. Arvioista muodostettiin yksi pistemäärä, joka kuvaa kohdetunteen tunnistuksen yksiselitteisyyttä. Tietty tunne katsottiin tunnistetuksi, jos se sai vähintään arvion 5. Pistemäärä oli 0, jos kohdetunnetta ei tunnistettu, tai muuten 1/n, jossa n on tunnistettujen tunteiden määrä (esim. jos vihainen ilme tunnistettiin sekä vihaiseksi että inhoavaksi, pistemääräksi tuli 1/2=0.5). Tunnistuspisteet analysoitiin varianssianalyysimenetelmällä (ANOVA) ja tilastolliseksi merkitsevyysrajaksi asetettiin 0.05. Tässä kuvailtu pisteytys on alustava, ja se tulee muuttumaan lopullisessa analyysissä.

Alustavia tuloksia
Kuva 1
Kuva 2:Emootioiden yleinen tunnistaminen eri tavoin sumennetuista kuvista ja videoista.

Kuvassa 2 on nähtävillä, että sumentaminen heikentää tunnistusta jonkin verran kaikilla sumennustasoilla. Tunnistus näyttäisi olevan selvästi alkuperäistä heikompaa rajataajuudella 7.33s/k, toisaalta selvä ero liikkuvan ja staattisen kuvan välillä näkyisi rajataajuudella 3.66s/k. Tilastollinen analyysi varmensi nämä havainnot.

Kuva 2
Kuva 3: Eri emootioiden tunnistaminen eniten (rajataajuudella 1.83) sumennetuista kuvista ja videoista. Satunnaisen tunnistamisen raja on merkitty katkoviivalla. Iloisille ilmeille on kaksi eri tulosta: 'ilo' (hymyily suu avoinna) ja 'ilo 2' (hymyily suu suljettuna).

Liikkeen vaikutus sumennettujen kasvonilmeiden tunnistamiseen vaihteli tilastollisesti merkittävästi esitettyjen emootioiden välillä. Sumentaminen vaikeutti toisten emootioiden tunnistamista toisia enemmän, esimerkiksi iloiset ja yllättyneet ilmeet tunnistettiin vielä eniten sumennetuistakin kuvista ja videoista (kuva 3). Toisaalta liikkeen hyöty vaihteli esitetystä emootiosta riippuen. Esimerkiksi kuvan 3 mukaisesti liikkeellä oli selvä merkitys vihan, pelon, ilon ja yllätyksen, mutta ei juuri ollenkaan inhon ja surun tunnistamiselle eniten sumennetuista ärsykkeistä.

Kuten odotettua, erot näyttelijöiden välillä olivat tilastollisesti merkittäviä esivalmisteluista (näyttelijöiden valikointi, ilmeiden FACS-koodaus) huolimatta. Tilastollinen analyysi osoitti, että yhden näyttelijän tulokset olivat selvästi muita heikompia jo sumentamattomilla ärsykkeillä, muiden näyttelijöiden keskiarvoistettujen tulosten ollessa melko tasaväkisiä. Yksittäisten emootioiden tunnistaminen vaihteli merkittävästi myös tasaväkisempien näyttelijöiden välillä, joten huonoimman näyttelijän tulosten pudottaminen analyysistä ei näytä perustellulta. Lisäksi tutkimuksen päätulos, sumennuksen ja liikkeen välinen vuorovaikutus, ei vaihdellut eri näyttelijöiden välillä.

Osallistujan sukupuolella ei yleensäottaen ollut vaikutusta emootioiden tunnistamiseen. Sukupuolen, liikkeen ja emootion väliltä löytyi kuitenkin odottamaton tilastollisesti merkittävä vuorovaikutus. Vuorovaikutus ilmeni siten, että naisilla liike auttoi vihaisten ilmeiden tunnistamista huomattavasti miehiä enemmän, eron ollessa tilastollisesti merkittävä.

Kiitokset kaikille kokeeseen osallistuneille!
Kysymykset/kommentit: katsyri (at) lce.hut.fi

Viitteet
[1]
Fiorentini, A., Maffei, L., Sandini, G. (1983), The role of high spacial frequencies in face perception. Perception, 12, ss. 195-201.
[2]
Costen, N., Parker, D., Craw, I. (1996), Effects of high-pass and low-ass spatial filtering on face identification. Perception & Psychophysics, 58(4), ss. 602-612.
[3]
Näsänen, R. (1999), Spatial frequency bandwidth used in the recognition of facial images. Vision Research, 39, ss. 3824-3833.
[4]
Munhall, K., Kroos, C., Jozan, G., Vatikiotis-Bateson, E. (2004), Spatial frequency requirements for audiovisual speech perception. Perception & Psychophysics, 66(4), ss. 574-583.
[5]
Nagayama, R., Yoshida, H., Toshima, T. (1995), Interrelationship between the facial expression and familiarity: analysis using spatial filtering and inverted presentation. Shinrigaku Kenkyu, 66(5), ss. 327-335.
[6]
Knight, B., Johnston, A. (1997), The role of movement in face recognition. Visual Cognition, 4(3), ss. 165-173.
[7]
Lander, K., Christie, F., Bruce, V. (1999), The role of movement in the recognition of famous faces. Memory & Cognition, 27(6), ss. 974-985.
[8]
Lander, K., Bruce, V., Hill, H. (2001), Evaluating the effectiveness of pixelation and blurring on masking the identity of familiar faces. Applied Cognitive Psychology, 15, ss. 101-116.
[9]
Web: DataFace homepage, mainos uudesta FACS-manuaalista. http://face-and-emotion.com/dataface/facs/new_version.jsp