Jos kuulet nyt ensimmäistä kertaa Suomen kansallisesta tekoälyohjelmasta, et ole yksin. AuroraAI on jäänyt yllättävän vähälle huomiolle mediassa hankkeen suuruuteen nähden. Hanke alkaa olla nyt suurin piirtein taputeltu päätökseen ja Hesari avasi keskustelun, joten päätin kantaa korteni kekoon testailemalla AuroraAI:n lopputuotoksia tavallisen kansalaisen näkökulmasta ja raportoimalla tulokset tähän artikkeliin.

Mutta mikä on AuroraAI? Valtiovarainministeriön sivut valaisevat asiaa meille:

Aurora on tekoälyjen ja autonomisten sovellusten muodostama verkko, joka luo edellytyksiä ihmiskeskeiselle ja ennakointikykyiselle yhteiskunnalle.^[1]

Jos mietit mitä se tarkoittaa käytännössä, hankkeen puuhamies selventää asiaa:

Dynaamisesti muotoutuvat arvoverkot ihmisen eri tilanteissa, se on niinku Aurora käytännössä.^[2]

Osalla lukijoista saattaa edelleen olla jotain kysymyksiä. Ei hätää, tässä tyhjentävä selitys Valtiovarainministeriön ICT-johtajalta:

Automaatio suorastaan puhkeaa kukkaan, kun on saatavilla hyvänlaatuista dataa. Data on automaatiolle kuin vesi, jolla kastellaan automaation kukkasia. Ja pistää myös samalla miettimään, että olisikö tässä kielikuvassa ihmiskeskeisyys se kukkamulta.^[3]

Kukkamultaa tästä hankkeesta ei ainakaan puutu. Vuosina 2018-2019 hankkeen esiselvityksessä pöhistiin käsittämätön määrä dokumentteja^[4] budjetilla, jonka suuruus ei ole julkisesti tiedossa. Esiselvitystä seuranneessa varsinaisessa hankkeessa 2020-2022 kukkamultaa viljeltiin 11,2 miljoonan euron budjetilla.^[5] Alun perin budjetin piti olla jopa 100 miljoonaa euroa,^[6] mutta veronmaksajien onneksi hanke ei toteutunut täydessä laajuudessa.

Lopputulokset

Mitä veronmaksajat voivat odottaa saavansa 11 miljoonalla eurolla? HS:n artikkelissa laitetaan silkkihansikkaat käteen ja varovaisesti lasketaan rima niin alas että se koskettaa lattiaa:

[Teknologiatutkija Santeri] Räisänen sanoo, että mahalasku on tyypillinen tulos tekoälyhankkeissa. Usein pelätään, että niiden tuloksena syntyy valvontakoneisto.

”Todennäköisempää on, ettei synny mitään.”

Jotain on sentään syntynyt. Ainakin Aurora AI -verkon suosittelumoottori ja profiilinhallinta, joiden lähdekoodi julkaistiin viime viikolla. Lisäksi syntyi koodia käyttöliittymiin sekä käsikirja neuvontabotin tuottajalle.

Riittääkö tyydyttäväksi lopputulokseksi tosiaan, että ”jotain koodia on ainakin julkaistu”?

Nyt on aika upottaa kädet kukkamultaan ja testailla, ovatko lopputuotokset hyödyllisiä tavallisen kansalaisen näkökulmasta. Sanottakoon, että tarkoitan lopputuotoksella jotakin konkreettista sovellusta tai vastaavaa tuotosta, jota kansalainen voi käyttää. En tarkoita lopputuotoksella mitään osallistujien henkilökohtaisia ”opittiin niin paljon” -kokemuksia, enkä tarkoita lopputuotoksella dokumentteja jotka lipastoidaan viraston arkistoon. Yritin parhaani mukaan kartoittaa konkreettiset lopputuotokset jotka hankkeessa tuotettiin, mutta kartoitus tuskin on täydellinen, koska hankkeen tekijät eivät ole näitä lopputuotoksia koonneet mihinkään yksittäiseen listaan. (Tässä linkki julkiseen dokumentaatioon.)

Nähdäkseni hankkeen lopputuotokset voi jakaa kahteen kategoriaan:

1. Palvelusuosittelijat, jotka suosittelevat palveluita kaikenlaisiin tilanteisiin
2. Keskustelevat chatbotit, jotka tarjoavat neuvoja rajattua aihepiiriä koskien

Tässä koostamani lista projektin lopputuotoksista:

• Palvelusuosittelija 3x10D Zekki
• Palvelusuosittelija 3x10D AuroraAI testiympäristössä
• Palvelusuosittelija vapaatekstillä AuroraAI testiympäristössä
• Chatbotti Poikien puhelimelle
• Chatbotti Kuopion kaupungin kirjastolle
• Chatbotti BusinessKuopiolle
• Chatbotti International House Tampereelle
• Chatbotti Helsingin Diakonissalaitokselle
• Chatbotti Aseman lapsille
• Chatbotti Kuopion kaupungin HR:lle

Palvelusuosittelijat

Aloitetaan testailu palvelusuosittelijoista. Näissä sovelluksissa käyttäjä antaa tietoja elämäntilanteestaan ja sovellus arvioi 20 000 eri palvelun tietovarannosta, mitkä palvelut voisivat olla avuksi käyttäjän elämäntilanteeseen. Suositeltava palvelu saattaa olla esimerkiksi uraneuvontaa tai askartelukerho.

Ensimmäisenä kokeilen palvelusuosittelija Zekkiä. Sovellus pyytää minua syöttämään iän, sukupuolen ja paikkakunnan. Tämän jälkeen sovellus pyytää minua vastaamaan 0-10 asteikolla kymmeneen kysymykseen, jotka koskevat aiheita kuten itsetunto ja asumistyytyväisyys. Nämä monivalintakysymykset muistuttavat minua 2000-luvun loppupuolella suosioon nousseista Facebook-kyselyistä, jotka lupasivat vastata niinkin tärkeisiin kysymyksiin kuin ”Mikä Spaissari olet” tai ”Jos olisit ruoka, mikä ruoka olisit”.

Vastaan kysymyksiin rehellisesti ja pohdiskelen mielessäni, miten sovellus edes teoriassa pystyisi neuvomaan tilanteeseeni parhaiten sopivia palveluita — enhän ole päässyt syöttämään mitään sellaisia tietoja jotka yksilöisivät palvelulle mihin ongelmiin kaipaan apua. Siitä huolimatta lopputulos onnistuu alittamaan odotukset:

Zekki suosittelee minulle pelkkiä nuorisopalveluita, vaikka olen 36-vuotias ja syötin ikäni erillisessä kentässä. Jos ikä kysytään erikseen, ei olisi kovin monimutkainen tehtävä suodattaa tuloksista pois sellaiset tulokset jotka eivät ole sopivia käyttäjän iälle. Tällainen suodatus olisi helppo toteuttaa ilman mitään ”ihmiskeskeistä tekoälyä”.

Testaan seuraavaksi AuroraAI testiympäristön 3x10D palvelusuosittelijaa. Tämä suosittelija ei kysy minulta ikää eikä sukupuolta, mutta muuten kysymykset ovat samat kuin Zekissä. Tulokset:

Jokainen yllä näkyvä palvelusuositus on joko nuorisopalvelu tai vammaispalvelu. En ole nuori enkä kehitysvammainen.

Mennään eteenpäin muihin sovelluksiin. Seuraavaksi testaan AuroraAI testiympäristön vapaatekstillä toimivaa palvelusuosittelijaa. Käytettyäni AuroraAI:ta hetken aikaa päässäni on herännyt synkkiä ajatuksia, joten kokeilen osaako AuroraAI suositella minulle mielenterveyspalveluita:

AuroraAI ei osaa suositella itsemurhaa hautovalle käyttäjälle mielenterveyspalveluita. Sen sijaan AuroraAI suosittelee hautatoiveen tekemistä ja testamentin kirjoittamista ennen itsemurhaa.

Hakutuloksia näytetään vapaalle tekstihaulle jostain syystä vain 5, eikä enempää tuloksia voi listata edes sivuttamalla. Suosittelumoottori on joka tapauksessa joutunut pisteyttämään suuren määrän erilaisia palveluita, joten ei ole mitään teknistä estettä sille miksi tuloksia ei voisi näyttää enempää. Tulosten rajoittaminen viiteen herättää epäilyksen, että minkäänlaista käytettävyystestausta tuotteelle ei olla tehty ennen sen julkaisua.

Kenties mielenterveyspalvelut on vain jotenkin unohdettu toteutuksesta. Kokeillaan tekstihakua uudestaan, käyttäen tällä kertaa tekstihakuna AuroraAI:n pöhinävideolla esitettyä elämäntilannetta: leipomoyrittäjä Henry on siirtymässä eläkkeelle perheyrityksestä. AuroraAI:n pöhinävideolla hänelle ehdotetaan seuraavia palveluita:

• Sukupolvenvaihdos perheyrityksessä
• Eläkkeet
• Verotus
• Eläkeläisalennukset
• Eläkeläistoiminta

Mutta mitä palveluita AuroraAI todellisuudessa ehdottaa tähän elämäntilanteeseen?

Nautojen laidunnus ja jaloittelu kesäaikaan? Vain yksi viidestä suosituksesta on millään tapaa relevantti. AuroraAI ei edes tunnista sukupolvenvaihdosta perheyrityksessä mahdolliseksi elämäntapahtumaksi, vaikka tämä on juuri se elämäntapahtuma, jonka he itse valitsivat kanoniseksi esimerkiksi pöhinävideoonsa.

Chatbotit

Siirrytään seuraavaksi kokeilemaan AuroraAI chatbotteja. Chatbotit eroavat palvelusuosittelijoista keskustelevan vuorovaikutuksen lisäksi siinä, että palvelusuosittelijat antavat suosituksia kaikenlaisiin elämäntilanteisiin, kun taas chatbotit on selvästi suunniteltu rajattuihin aihepiireihin. En ole kohdeyleisöä millekään julkaistuista chatboteista, joten kokeilen osaa niistä syöttämällä sen tyyppisiä kysymyksiä joita voisin kuvitella oikeiden käyttäjien syöttävän.

Kokeilen aluksi Poikien puhelimen chatbottia.

Hyvin tyypillinen kysymys yksinkertaisessa muodossa esitettynä, mutta botti ei ymmärrä sitä ja vastaa litanialla esikirjoitettuja viestejä. Esikirjoitettuja viestejä on niin paljon etteivät ne edes mahdu yhteen kuvakaappaukseen.

Koitetaan eri kysymystä:

Botti ei ymmärrä vieläkään ja toistaa litanian samoista esikirjoitetuista viesteistä. Eikö riittäisi että litania on annettu kerran ja jatkossa voisi vastata vaan sen ”oi joi” -viestin ilman tota koko litanian toistamista? Ilmeisesti tällekään ei ole tehty minkäänlaista käytettävyystestausta ennen julkaisua.

Kun lähetän riittävän paljon viestejä, löydän lopulta jotain millä saan tulokseksi jotain muuta kuin ”oi joi”:

Ilmeisesti botilla on rajattu määrä esikirjoitettuja vastauksia, ja tässä tapauksessa avainsana ”vanha” osuu siten että botti olettaa minun kysyvän hänen ikäänsä (vaikka kysymys koskee minun ikääni eikä botin ikää).

Kokeilen seuraavaksi Kirjastobottia.

Osaisiko botti kertoa, onko jokin tietty kirja saatavilla?

Botin tekijöille ei ole tullut mieleen, että kirjaston käyttäjät saattaisivat kysyä kirjojen varaustilanteesta botilta. Oi joi!

Kenties botti kykenee kuitenkin suosittelemaan minulle jotakin kirjaa?

Kirjastobotti tunnistaa kysymyksen, mutta ei osaa suositella mitään kirjaa vaan tarjoaa esikirjoitetun vastauksen. Oi joi!

Kokeilen seuraavaksi BusinessKuopion chatbottia.

Botti vastaa mielellään yrittäjyyttä ja liiketoimintaa koskeviin kysymyksiin, mutta ei kuitenkaan tiedä, mikä on veroilmoitus? Oi joi!

Testailin chatbotteja useampana päivänä samalta tietokoneelta ja huomasin että ne muistavat viestihistorian. Viestit voivat sisältää hyvinkin arkaluonteisia asioita, joten päätös säilyttää viestit sessioiden ylitse käyttäjää varoittamatta on vähintäänkin kyseenalainen. Tämäkin ”ominaisuus” vaikuttaa vahvasti siltä ettei minkäänlaista käytettävyystestausta chatboteille ole tehty ennen niiden julkaisua.

Eiköhän testailu saa tältä erää riittää. AuroraAI:n chatbotit muistuttavat lähinnä puhelinautomaatteja, joihin on ohjelmoitu muutama kymmenen eri aihetta. Puhelinautomaateissa tosin on se etu AuroraAI:hin nähden, että ne luettelevat käyttäjälle mitkä aiheet ovat saatavilla. Esimerkiksi pankin puhelinautomaatista saatat löytää oikean aiheen valitsemalla ensin 1) henkilöpalvelut, sitten 6) vakuutusasiat, ja lopuksi 3) korvauspyynnön jättäminen. AuroraAI:n tapauksessa voit vain arvailla oikeita sanayhdistelmiä, ja oi joi, kun se on vaikeaa sokkona ilman tietoa siitä millaisia sisältöjä on saatavilla. Tällaiset muutaman kymmenen eri aiheen esikirjoitetut tekstisisällöt olisivat paljon paremmin saavutettavissa ihan perinteisenä “usein kysytyt kysymykset” tekstisivuna. Chatbot-ratkaisussa ei saavuteta minkäänlaista etua perinteiseen tekstisivuun nähden, kun botin tekninen kyvykkyys on sillä tasolla että se tunnistaa vain kovakoodattuja avainsanoja ja vastaa niihin esikirjoitetuilla sisällöillä. Rahaa saadaan toki palamaan, tässä tapauksessa 11 miljoonan euron verran.

Mitä tästä kaikesta opittiin?

En halua syyttää yksittäisiä ihmisiä tästä fiaskosta. Lopputulos olisi todennäköisesti ollut yhtä kehno, vaikka kaikki virastojen puuhamiehet ja konsulttitalojen toimittajat olisi vaihdettu toisiin. Hankkeen epäonnistuminen oli nähtävissä kaukaa, eikä siihen olisi missään tapauksessa pitänyt ryhtyä. Tekoälypöhinä ei kuulu julkiselle sektorille. Yksityisellä sektorilla saa pöhistä ihan niin paljon kuin haluaa. En väitä että tällainen hanke olisi onnistunut sen paremmin yksityisen sektorin vetämänä — olihan tätäkin projektia toimittamassa yksityisen sektorin konsultit — on vaan eri asia tuhlata omia rahoja kuin verorahoja.

Verovarat olisi parempi säästää sellaisiin kohteisiin, jotka luontaisesti kuuluvat valtion vastuulle ja osaamisalueelle. Esimerkiksi viittomakieliset uutiset on tärkeä tehtävä jota ei markkinavetoisesti syntyisi. Toisena esimerkkinä voin nostaa sähkönsiirtoverkon ylläpitämisen, joka on tehokkaampaa valtion omistamana monopolina kuin markkinaehtoisena kilpailuna. Nyt ei ole kyse mistään tällaisesta. Miksi valtio upottaa rahaa tekoälypöhinään joka ei ole yhteiskunnalle kriittinen, jota syntyy muutenkin markkinavetoisesti yksityissektorin puolella, jossa valtiolla ei ole mitään kyvykkyyttä projektin vetämiseen, ja jossa valtaosa hankkeen aikana kehitetyistä kyvykkyyksistä jää yksityissektorin konsulteille jotka ovat toimittamassa projektia? Jos valtio haluaa tukea jotain uraauurtavaa tutkimusta ja koulutusta, siihen on meillä jo loistavat instituutiot: yliopistot. Aivan järjetöntä laittaa virasto vetämään tällaista hanketta.

Yksityisestä sektorista puheenollen, kokeillaanpa lopuksi millaista Chatbot-palvelua Suomen kansalaisille on tällä hetkellä tarjolla täysin ilmaiseksi yksityisen OpenAI:n ChatGPT-palvelusta:

Ihan osuva suositus, mutta tällainen toisella puolen maailmaa majaileva tekoäly ei voisi mitenkään kertoa meille, onko kirjaa saatavilla Kuopion kirjastosta… eihän?