Tutkijat opettavat tekoälyn käyttämään suomen kielen murteita
Kun vuorovaikutuksessa tietokoneiden kanssa puhutaan suomen eri murteilla, syntyy paljon ongelmatilanteita. Helsingin yliopiston tutkijaryhmä on kehittänyt tekoälymalleja, jotka tunnistavat ja tuottavat suomenkielisiä murteita automaattisesti sekä suoraan puheesta että tekstimuodossa.
Kieltä ei voi puhua käyttämättä jonkin tasoista murretta, mutta koneäly ymmärtää yleensä suomea vain normatiivisessa muodossa, kirjakielenä. Image: Aleksandr Davydov
Tiedotusvälineissä on viime aikoina puhuttu kieliaineiston keräämisestä tarkoituksena opettaa tekoälyä ymmärtämään suomen ja ruotsin kielen murteita. Koska koneäly ymmärtää yleensä suomea vain normatiivisessa muodossa, kirjakielenä, tarvitaan aitoa puhuttua kieltä parantamaan puheentunnistuksen algoritmeja. Kun vuorovaikutuksessa tietokoneiden kanssa käytetään suomen eri murteita, syntyy paljon ongelmatilanteita. Yleisesti kieltä ei voi puhua käyttämättä jonkin tasoista murretta.
Mika Hämäläisen, Niko Partasen, Khalid Alnajjarin ja Jack Rueterin muodostama tutkimusryhmä Helsingin yliopistossa on kehittänyt menetelmiä, joilla saadaan aikaan murteita sujuvasti käyttävä tekoäly. Tulokset julkaistiin The Association for Computational Linguisticsin järjestämän Conference on Empirical Methods in Natural Language Processing -konferenssin yhteydessä.
Tekoäly voi käyttää 23 alamurretta
Tutkijat ovat laskennallisen luovuuden avulla kehittäneet menetelmän, jolla suomen kirjakieli voidaan muuntaa miksi tahansa suomen kielen 23 alamurteesta. Koneälyn tulee sekä ymmärtää murteellista suomea että kyetä ilmaisemaan itseään murteellisesti.
– Kehittämämme menetelmän avulla robotti tai jokin muu älykäs järjestelmä osaa sanoa ”Akku on lopussa” vaikkapa Etelä-Karjalan murteella ”Akku o lopussa”, Etelä-Satakunnan murteella ”Akku ol lopus” tai Länsi-Uudenmaan murteella ”Akku o lopus”, Hämäläinen kertoo.
Google Kääntäjän suosittu algoritmi ei esimerkiksi osaa kääntää murteellista suomen kielen virkettä ”Oisko sulla jotai esimerkkei siit” englanniksi, vaan tuloksena on täysin virheellinen ”Oisko sulla something like that”, koska palvelu on rakennettu toimimaan yksinomaan suomen kirjakielen pohjalta. Sama ilmiö havaitaan kaikissa muissakin suomeksi toimivissa tekoälyyn perustuvissa työkaluissa, kuten Applen Siri-avustajassa tai macOS-käyttöjärjestelmän sanelutoiminnossa.
Murteet tunnistetaan sekä puheäänestä että tekstistä
Tutkimustulosten perusteella murteiden tunnistaminen on vaikeaa pelkästään tekstin pohjalta. Murteiden tunnistaminen helpottuu, kun mallilla on käytössään myös ääntä, sillä monilla murteilla on äänteellisiä erityispiirteitä. Tutkijoiden tuoreimmat julkaistut tulokset liittyvätkin murteiden tunnistamiseen sekä puhutun äänen että tekstin perusteella.
– Murteiden kirjakielistämisellä on monia etuja. Sen ansiosta voidaan analysoida murreaineistoja suomen kirjakieltä varten suunnitelluilla työkaluilla. Lisäksi kirjakielistettyjä aineistoja voidaan käyttää haun välineenä, kun etsitään jotakin murreaineistoista, Khalid Alnajjar sanoo.
Tutkijat huomauttavat, että murteiden ymmärtäminen on monitahoinen haaste, eikä mikään malli kykene ymmärtämään ihmisen lailla luonnollista kieltä. Nyt luodut mallit avaavat kuitenkin mielenkiintoisia suuntia tutkimukselle, kuten selvittää murteiden normista poikkeamisen aste ja eri kielimuotojen lauseopilliset erot.
– Näin voidaan parantaa luonnollisen suomen kielen käsittelyyn tarkoitettuja ratkaisuja ja kehittää yksilöllisesti räätälöityjä tekoälymalleja. Jo nyt on saatu vaikuttavia tuloksia yhden ihmisen puheen tunnistamisen saralla jopa uhanalaisissa kielissä, Niko Partanen sanoo.
Tutkimusryhmä on kehittänyt vastaavanlaista kirjakielistämismenetelmää myös Suomessa puhutuille ruotsin murteille (Hämäläinen et al., 2020b) ja historialliselle suomelle (Hämäläinen et al., 2021b).
Murregeneraattoria voi testata verkossa ja murteen ”kirjakielistäjä” ja generaattorikoodi ovat julkaistu avoimesti GitHubissa. Myös murteen tunnistajakoodin voi löytää Githubista.
Mika Hämäläinen, Khalid Alnajjar ja Jack Rueter ovat tutkijatohtoreita Helsingin yliopistosta ja Digitaalisten ihmistieteiden laitokselta. Alnajjar työskentelee FCAI:ssa professori Jörg Tiedemannin ja professori Mikko Kurimon ohjauksessa ja osallistuu FCAI:n syväoppimisen ja luonnollisen kielen käsittelyn tutkimukseen. Niko Partanen on tietoasiantuntija Kirjastoverkkopalveluista.