Eestikeelse kõnetuvastuse meetodite uurimine ja arendamine

Sissejuhatus

Projekti eesmärgiks on eesti keelele sobivate kõnetuvastuse meetodite uurimine, arendamine ja testimine ning erinevate tuvastussüsteemi prototüüpide loomine.

Projekti olulisemad ülesanded

• uurida, millised on optimaalsed leksikonis salvestatavad tuvastusühikud (difoonid, silbid, pseudo-morfeemid, jms);
• luua valitud tuvastusüksustel baseeruv morfo-süntaktiline keelemudel; uurida semantiliste seoste modelleerimist statistilises keelemudelis;
• rakendada algoritme tuvastussüsteemi kiireks adapteerimiseks kõneleja häälduse eripäraga;
• uurida kõnetuvastussüsteemide rakendusprobleeme mobiilside kanalis;
• luua optimaalsed tehnoloogilised lahendused piiratud sõnavaraga (kuni 10 000 sõna) tuvastussüsteemide arendamiseks;
• uurida ja arendada tehnoloogilisi lahendusi piiramatu sõnavaraga tuvastussüsteemide loomiseks;
• välja töötada erinevaid tuvastussüsteemide prototüüpe.

Projekti tähtsus

Projekti raames luuakse eesti keelele sobiv kõnetuvastustehnoloogia ja arendatakse välja piiratud ning piiramatu sõnavaraga tuvastussüsteemide prototüübid. Kõnetuvastustehnoloogia väljatöötamine võimaldab hakata arendama suulisel kommunikatsioonil baseeruvaid kasutaja-sõbralikke liideseid, mis leiaksid rakendust infotehnoloogilistes süsteemides. Samuti on võimalik luua inimene-masin dialoogsüsteeme, mis asendaksid rutiinset inimtööd infootsingul. Kõnetuvastus avardab oluliselt puuetega inimeste võimalusi kasutada arvuteid ning loob neile paremad võimalused osalemiseks tööturul ning nende integreerimiseks ühiskonda. Kõnetuvastustehnoloogia loomine tagab eesti keelele “suurte” keeltega võrdsed tingimused ja kasutusvõimalused infotehnoloogilises keskkonnas ning loob seega eeldused eesti keele säilimiseks ja arenguks infoühiskonnas. Projekt on otseseks jätkuks RP Eesti keel ja rahvuslik mälu raames 2004-2005 finantseeritud kõnetuvastuse alasele projektile.

Tarkvara

• Piiratud sõnavaraga eestikeelse kõnetuvastuse demonstreerimiseks on loodud häälega juhitav kalkulaator. Rakendus oskab tuvastada numbreid ja tehtekäsklusi ning teostada lihtsaid matemaatikatehteid. Tema kasutamine sarnaneb tavalise nuppudega kalkulaatori kasutamisele, nuppude vajutamise asemel tuleb lihtsalt kasutada kõnet. Programmi lähtekood on vaba tarkvara litsentsi alusel kasutatav, ning peaks võimaldama väikese süvenemise järel luua teistsuguse sõnavara ja grammatikaga piiratud sõnavaraga tuvastusrakendusi.
  

• Autosegmenteerija on tarkavara, millega saab segmenteerida eestikeelset kõnet sõnadeks ja häälikuteks, kasutades Markovi peitmudelitel põhinevaid kõnetuvastuse akustilisi mudeleleid. Tarkvara on eelkõige mõeldud foneetikutele foneetilise transkribeerimise kiirendamiseks.

Töökava käesolevaks aastaks

Kavas on jätkata tööd keelemudeli adapteerimise alal, mis on oluline mitmesuguste praktiliste tuvastusülesannete juures. Põhitähelepanu suunatakse maksimaalse entroopia põhimõtet kasutatavatele mudelitele, ning nende mitmemõõtmelise hierarhilise adapteerimise võimalustele. Selline adapteerimine võimaldaks keelemudelit samaaegselt adapteerida nii kõne teemale kui stiilile (näiteks konverentsiettekanded teatud teemal), samuti võimaldab see treeningandmete efektiivset kasutust. Kavas on implementeeida maksimaalse entroopia põhimõtet kasutavate hierarhiliste mudelite treeningalgoritm, mis kasutaks sobivaid andmestrktuure ja algoritme, et vältida tüüpiliselt selliste mudelite treenimise puhul tekkivat ülisuurt mälu- ja protsessorinõudlust.

Eelmise aasta töö tulemusena valmis raadiote vestlussaadete täisautomaatset transkribeerimist võimaldava süsteemi prototüüp. Sel aastal on kavas alustada süsteemile saadete sisu indekseerimise, organiseerimise ja otsingu funktsioonide lisamist ning nendele funktsioonidele avalikku ligipääsu võimaldava kasutajaliidese implementeerimist. Kasutajaliides oleks implementeeritud veebirakendusena ning võimaldaks järgmisi tegevusi:

• transkribeeritud vestlussaadete sisu vaatamine; transkribeeritud tekst oleks organiseeritud kõneleja kaupa ning võimaldaks lihtsalt kuulata tekstilõigule vastavat kõnet;
• otsing transkribeeritud saadete sisust kasutaja poolt sisestatud märksõnade põhjal;
• mingile vestlussaatele sarnase sisuga teiste saadete otsimine.

Süsteem oleks suuteline automaatselt uusi vestlussaadete salvestusi alla laadima, transkribeerima ning indekseerima, kasutades sisendina erinevate raadiote vastavaid RSS-vooge.

Rakenduse potensiaalsed hiljem lisatavad funktsioonid on:

• automaatselt transkribeeritud tekstidesse kasutajapoolsete paranduste tegemine;
• sama kõneleja kõnelõikude otsing erinevatest saadetes, otsing kõneleja ja märksõna põhjal;
• saadete automaatsed lühikokkuvõtted;

Lisainfo

Siin.

Publikatsioonid

• Tanel Alumäe. Comparison of different modeling units for language model adaptation for inflected languages. Proceedings of CICLing 2008, Haifa, Iisrael, lk 488-499.
• Tanel Alumäe, Toomas Kirt. LSA-based language model adaptation for highly inflected languages. Interspeech 2007. Antwerpen, Belgia, lk 2357-2360.
• Tanel Alumäe. Automatic compound word reconstruction for speech recognition of compounding languages. Proceedings of NODALIDA 2007, lk 5-12.
• Tanel Alumäe. Methods for Estonian Large Vocabulary Speech Recognition. Doktoritöö, Talinna Tehnikaülikool 2006.
• Tanel Alumäe. Sentence-adapted factored language model for transcribing Estonian speech. Proceedings of ICASSP 2006. Toulouse, Prantsusmaa, lk 429–432.