Tekoäly oppi kirjoittamaan puhelimella ihmisen tavoin

Tutkijat kehittivät tekoälymallin, joka osaa ennakoida ihmisten silmien ja sormien liikkeet kosketusnäytöllä. Mallin pohjalta voidaan kehittää muun muassa parempia tekstinsyöttöohjelmia ja näppäimistöjä erilaisten käyttäjien tarpeisiin.

 
 

Kosketusnäytöllä kirjoittaminen eroaa merkittävästi perinteisestä näppäimistöstä, koska se vaatii tarkkaa yhteispeliä silmiltä ja sormilta. Nyt Aalto-yliopiston ja Suomen tekoälykeskus FCAI:n tutkijat ovat luoneet tekoälymallin simuloimaan tätä kirjoittamisen tapaa. Tutkimus, joka esitetään arvostetussa ACM CHI -konferenssissa 12. toukokuuta, luo pohjan muun muassa parempien ja jopa yksilöllisten tekstinsyöttöratkaisujen kehittämiselle.

“Koska meillä nyt on realistinen simulaatio siitä, miten ihmiset kirjoittavat kosketusnäytöllä, jatkossa on huomattavasti helpompi optimoida näppäimistöjä. Tämän seurauksena kirjoitusvirheitä tulee harvemmin, kirjoitusnopeus kasvaa ja, mikä ainakin itselleni tärkeintä, turhautuminen vähenee, työtä vetänyt tutkija Jussi Jokinen selittää.

Tekoälymallille voidaan antaa mikä tahansa lause, ja se simuloi itsenäisesti, miten ihminen kyseisen lauseen millä tahansa valitulla valitulla näppäimistöllä kirjoittaisi. Malli tekee virheitä, huomaa ja korjaa ne, ihan niin kuin ihminenkin tekisi. Simulaatio myös ennustaa, kuinka ihmisen kirjoitustyyli muuttuu uusissa tilanteissa, esimerkiksi uuden tekstinsyöttöohjelman tai erilaisen näppäimistön kanssa.

Visualisaatio siitä, minne käyttäjä katsoo ja koskettaa kirjoittaessaan lausetta. Vihreä kertoo silmien liikkeistä, sininen sormien. Mitä tummempi sävy, sitä pidempi tai toistuvampi liike kyseisellä alueella. Vasemmalla tekoälymallin simulaatio, oikealla havainnot todelliselta käyttäjältä.

Visualisaatio siitä, minne käyttäjä katsoo ja koskettaa kirjoittaessaan lausetta. Vihreä kertoo silmien liikkeistä, sininen sormien. Mitä tummempi sävy, sitä pidempi tai toistuvampi liike kyseisellä alueella. Vasemmalla tekoälymallin simulaatio, oikealla havainnot todelliselta käyttäjältä.

“Aiemmin kosketusnäytöllä kirjoittamista on ajateltu ennen kaikkea sormien liikkumisen näkökulmasta. Tekoälypohjaiset menetelmät auttavat meitä ymmärtämään ilmiötä paremmin: niiden avulla olemme oppineet, kuinka keskeinen on kirjoittajan päätös siitä, milloin ja minne katsoa. Nyt voimme ennustaa paljon aiempaa tarkemmin, miten ihmiset kirjoittavat puhelimillaan tai tableteillaan, Jokinen sanoo. 

Malli osaa ennustaa ihmisten kirjoittamista paitsi yleisesti, myös käyttäjäryhmittäin. Näin se pystyy ottamaan huomioon esimerkiksi motorisen heikkouden aiheuttamat muutokset kirjoitustyyliin ja auttamaan erilaisten käyttöliittymien ja apuohjelmien kehittelyssä erityisryhmille. Lisäksi mallista voi olla tulevaisuudessa hyötyä räätälöityjen ratkaisujen löytämisessä yksittäisille ihmisille. Esimerkiksi puhelimeen asennetun ohjelman kautta tekoäly voitaisiin laittaa seuraamaan ja jäljittelemään yksittäisen ihmisen kirjoitustyyliä, minkä pohjalta se voisi suositella vaikkapa käyttäjälle parhaiten soveltuvaa näppäimistöä tai virheiden korjausohjelmaa.

Perustuu menetelmään, jolla opetetaan roboteille ongelmanratkaisua

Nyt kehitetyn tekoälymallin taustalla on tutkimusryhmän aiempi empiirinen tutkimus, jonka pohjalta tutkijat rakensivat kognitiivisen mallin ihmisten näppäilystä. Uusi, itsenäisesti kirjoittava malli perustuu tähän työhön, ja se on osa laajempaa Vuorovaikutteisen tekoälyn (Interactive AI) tutkimusohjelmaa Suomen tekoälykeskus FCAI:lla.

Tulokset pohjaavat vahvistusoppimiseen, joka on klassinen koneoppimismenetelmä. Vahvistusoppimista käytetään tyypillisesti silloin, kun halutaan opettaa roboteille ongelmanratkaisua yrityksen ja erehdyksen kautta. Tutkimusryhmä löysi uuden tavan käyttää tätä menetelmää sellaisen toiminnan tuottamiseen, joka on hyvin lähellä ihmisten vastaavaa.

“Annoimme mallille samat kyvyt ja rajat kuin meillä ihmisillä on. Sillä on esimerkiksi simulaatio silmien liikkeestä, jonka ansiosta se näkee sormen sijainnin ja kirjoitetun tekstin. Kerrallaan se ei  kuitenkaan näe tarkasti kuin pienen alueen. Kun pyysimme mallia kirjoittamaan tehokkaasti, se etsi parhaan tavan käyttää kykyjään. Lopputulos on hyvin samankaltainen kuin ihmisten kirjoittaminen. Mallia ei siis tarvinnut opettaa ihmisdatalla, Jokinen kertoo.

Vertailu ihmisten kirjoittamisesta kerättyyn dataan on osoittanut mallin ennustukset osuviksi. Jatkossa tutkijat haluaisivat simuloida hitaita ja nopeita kirjoitustekniikoita voidakseen esimerkiksi suunnitella opetussisältöjä ihmisille, jotka haluavat kirjoittaa tehokkaammin.

Tutkimusartikkeli Touchscreen Typing As Optimal Supervisory Control, esitellään 12. toukokuuta 2021 ACM CHI konferenssissa.

Lisämateriaaleja:

 Lisätietoja:

Jussi Jokinen

jussi.p.jokinen@helsinki.fi 

Phone: +358 45 196 1429

Minna Tiainen