Mistä on suuret kielimallit tehty? – Esko Ukkosen juhlapuhe vuosijuhlassa 17.4.2026

Suomalaisen Tiedeakatemian julkaisee verkkosivuillaan vuoden 2026 kunniapalkinnon saajan Esko Ukkosen juhlapuheen. Lisätietoa kunniapalkinnosta

Nuoruuteni suuria elokuvaelämyksiä oli Stanley Kubrickin elokuva ”Avaruusseikkailu 2001” vuodelta 1968. Siinä oli visuaalisesti loisteliasta tulevaisuusmystiikkaa, joka teki vaikutuksen nuoreen mieleen. Eräässä pääosassa oli tietokone, joka osoittautui vallanhaluiseksi ja kaappasi avaruusaluksen hallintaansa. Ainoa tietokoneen hyökkäyksestä selvinnyt astronautti onnistui vain vaivoin katkaisemaan virran, tietokone sammui haikeasti hyräillen ja avaruusseikkailu saattoi sittenkin jatkua.

Elokuvan tekoon osallistui teknisenä asiantuntijana Marvin Minsky – eräs tekoälytutkimuksen perustajista. Noihin aikoihin Minsky oli arvellut, että noin kolmesta kahdeksaan vuoden kuluessa tietokone saavuttaa keskivertoihmisen yleisen älykkyyden, johon kuuluu arkijärki ja sopeutumiskyky.

Minskyn ennustus tai moni muukaan tekoälyn ripeää kehitystä ennakoinut visio ei silloin toteutunut. Mutta nyt viimeisen 10–15 vuoden kehityksen tuloksena olemme hieman lähempänä tekoälyutopioiden – hyvien ja huonojen – toteutumista.

Tekoäly on hurmannut median, ja sotkee työmarkkinat ja pörssikurssit. Käynnissä on kansainvälinen tekoälykilpajuoksu. Väitetään – mielestäni yliampuvasti –, että se, joka johtaa tekoälyssä, se johtaa maailmaa.

Monimuotoinen tekoäly

Monia tekoäly- ja koneoppimismenetelmiä on jo pitkään käytetty rutiininomaisesti eri alueilla, ilman että siitä tehdään erityisempää numeroa. Näitä ovat esimerkiksi automaattinen laadunvarmistus tuotantolinjalla konenäön avulla, poikkeuksellisten tilitapahtumien arviointi pankeissa, laitteiden puheohjaus, roskapostifiltterit, jne.

Ns. suuret kielimallit ovat aiheuttaneet nykyisen laajan tekoälyinnostuksen. Yritän seuraavassa tehdä selkoa siitä, miten tähän on tultu ja mitä kielimallit ovat. Välttelen teknisiä yksityiskohtia, mutta en täysin.

En yritä määritellä, mitä on tekoäly. Äly on liian hankala käsite. Nyt kun tekoäly on aika hyvässä huudossa, julkisessa keskustelussa tekoälyä tuntuu olevan melkein kaikki, mitä tietokoneet tekevät.

Eräs tekoälytutkimuksen tavoite on ihmisen kognitiivisten kykyjen, erityisesti kielellisen kyvyn sekä nähdyn ja kuullun ymmärtämisen kyvyn siirtäminen koneelle. Tavoite juontuu jo kuuluisasta Turingin testistä. Tietojenkäsittelytieteen merkittävimpiin uranuurtajiin kuulunut brittiläinen Alan Turing ehdotti tekoälyn onnistumisen mittariksi testiä, jossa testaaja tekee kysymyksiä näkymättömissä olevalle vastaajalle ja pyrkii vastausten perusteella päättelemään, onko vastaaja kone vai ihminen.

Tekoälyn tutkimuksessa esiintyy nousu- ja laskukausien kiertoa. Puhutaan tekoälykesistä ja -talvista. Tutkijat lupaavat liikoja, media innostuu, rahoittajat innostuvat, hypetys nousee ja tulee tekoälytutkimuksen kesä. Kun sitten lupaukset eivät täyty, kiinnostus laimenee, tekoälyn tieteellinen maine rapistuu ja tulee tekoälytalvi.

Vanha kunnon AI

1980-luvulla oli tekoälykesä. Vanha kunnon symbolien manipulointiin ja päättelysääntöihin perustuva tekoäly oli voimissaan. Päättelysäännöt olivat yksinkertaisia ja selkeitä, yksinkertaisimmillaan vaikka tyyppiä: jos hauki on kala ja kala on eläin, niin hauki on eläin.

Sääntöpohjaisia systeemejä eli ns. asiantuntijajärjestelmiä kehitettiin kiivaasti. Näistä toivottiin pikkuapulaista vaikkapa sairauksien diagnoosiin tai teknisten laitteiden vianetsintään. Sitten huomattiin, että asiantuntijan erikoisasiantuntemus ei aina olekaan selkein askelin etenevää päättelyä vaan pikemminkin tilanteen nopeaa intuitiivista hahmottamista. Asiantuntijajärjestelmät eivät täyttäneet odotuksia ja katosivat tekoälytalveen.

1990-luvulla alettiin puhua big datasta eli suuraineistoista ja data miningista eli tiedon louhinnasta. Kaikenlaista dataa suorastaan tulvii esimerkiksi internetiä pitkin ja datan laittaminen avoimeen jakeluun oli hyvä asia. Datamassassa saattaa piileskellä hippunen jotakin hyödyllistä ja arvokasta. Datasta oli tullut – sanonnan mukaan – uutta kultaa. Data mining tarkoittaa esimerkiksi kiinnostavien hahmojen ja riippuvuuksien löytämistä eli tietämyksen muodostamista datasta. Tämä on kelpo tekoälyä.

Konnektionismi ja neuroverkot

Symboleilla pelaavan tekoälyn rinnalla kehittyi täysin toisenlainen lähestymistapa, konnektionismi. Suomalainen akateemikko Teuvo Kohonen oli tämän tutkimussuunnan merkittävä edustaja. Konnektionismi mallintaa ilmiöitä keinotekoisten hermoverkkojen eli neuroverkkojen avulla. Tällainen laskentaverkko muodostuu suuresta määrästä toisiinsa kytkettyjä yksikköjä, missä yksiköt ovat biologisen hermosolun eli neuronin yksinkertaisia matemaattisia malleja ja kytkennät vastaavat neuronin haaroja. Verkon arkkitehtuuri muistuttaa etäisesti biologisia aivoja.

Verkko säädetään eli opetetaan lopulliseen muotoonsa opetusaineiston avulla. Neuronien välisten kytkentöjen voimakkuutta säädetään koneoppimisalgoritmilla niin, että verkosta tulee yhteensopiva opetusaineiston kanssa.

Jos tarkoituksena on esimerkiksi, että verkko tunnistaa kissan kuvat muista kuvista, verkkoon syötetään opetusaineistona suuri määrä kissan kuvia ja muita kuvia, ja säädetään kytkentöjen voimakkuus niin, että verkon antama laskentatulos on positiivinen, kun kuvassa on kissa ja negatiivinen, kun siinä on ei-kissa. Kun opetetulle verkolle näytetään sitten ihan uusi kuva, toivotaan, että verkko antaisi positiivisen arvon eli ennustaisi kissaa täsmälleen silloin, kun kuvassa on kissa.

Neuroverkkojen alkuvaiheen tulokset olivat lupaavia, mutta koneoppimisalgoritmit vaativat raskasta laskentaa, joka kävi sen ajan tietokoneiden voimille. Innostus vaimeni ja tuli neuroverkkotalvi.

Neuroverkkojen kehittäjät olivat kuitenkin sitkeitä. Saatiin huomattavia parannuksia, pystyttiin opettamaan valtavilla aineistoilla hyvin suuria, monikerroksisia eli ns. syviä verkkoja, ja tuli voittoja koneoppimiskilpailuissa. Esimerkiksi AlphaGO -niminen neuroverkko voitti erittäin vaikeana pidetyn GO-pelin maailmanmestarin. Deep learning eli syväoppiminen oli syntynyt, ja 2010-luvulla alkoi uusi tekoälykesä, joka jatkuu yhä.

Kielimallit – hallusinoivia papukaijoja?

Suuret kielimallit ovat syvien verkkojen ja syväoppimisen toistaiseksi ehkä huomattavin tuotos. Parhaat kielimallit ovat yksityisten yritysten riskirahalla kehittämiä, eikä niiden rakenteesta ole tarkkaa julkista tietoa. Ne ovat valtavan suuria, opetettavia parametreja voi olla satoja miljardeja. Opetusaineistona on käytetty suunnilleen kaikki tekstit, mitä internetistä ja muualta on pystytty raapimaan, usein tekijänoikeuksista välittämättä. Mallit tarvitsevat rutkasti tietokonekapasiteettia ja energiaa.

Kielimalli on kielen käytön malli. Sille on näytetty esimerkkejä erikielisistä lauseista ja pitemmistä teksteistä. Tästä se on oppinut, millaiset kielelliset ilmaukset eli sanojen jonot, ovat kielen mukaisia, ja millaisten muiden sanojen seurassa (kontekstissa) kunkin sanan sopii esiintyä. Syväoppimisalgoritmi on opettanut tämän suurelle neuroverkolle säätämällä sopivasti neuronien kytkentöjen painoarvoja.

Kaikki perustuu kielen käyttöesimerkkeihin, kielioppisäännöistä ja sen semmoisesta malli ei tiedä mitään. Kielimalli ei myöskään liitä sanoihin merkitystä siinä mielessä kuin ihmiselle sanoilla on elämän aikana opittu merkitys. Kielimalli ei ymmärrä kieltä, sanat ovat vain merkkijonoja.

Kielimallilla voidaan ennustaa annetun tekstin seuraavaa sanaa, samaan tapaan kuin kännykän ennustava tekstin syöttö tarjoaa tekstille jatkoa. Malli ennustaa seuraavaksi sitä sanaa, joka on opetusaineistossa tyypillisesti esiintynyt samanlaisessa tilanteessa eli on aineistossa todennäköinen seuraava sana. Hyväksymällä ennustettu sana tekstin jatkoksi ja ennustamalla toistuvasti lisää malli voi tuottaa mielivaltaisen pitkiä sanajonoja.

Syntyvä teksti on yleensä ihmisymmärryksen mukaan johdonmukaista ja järkevää. Usein se on jotenkin persoonatonta, koska mennään opetusaineiston keskiarvon mukaan. Ennustukset perustuvat todennäköisyyksiin, ja opetusaineisto ja mallinnus voi olla puutteellinen. Näin ollen kielimallin tuottama teksti voi joskus olla täyttä puutaheinää. Suuria kielimalleja onkin luonnehdittu ”arvaileviksi papukaijoiksi”, joiden sanotaan ”hallusinoivan” silloin, kun sitä puutaheinää tulee.

Huonosti selittävät neuroverkot ja Nobel-palkinto

Suurten neuroverkkomallien usein hämmästyttävät kyvyt ymmärretään edelleenkin aika huonosti. Miksi mallin pitää olla selvästi yliparametroitu, jotta se toimisi hyvin? Miksi yliparametroitu malli voi yleistää niin hyvin eikä ylisovitu? Ovatko neuroverkkojen menestyksekkäät arkkitehtuurit täysin ad hoc?

Neuroverkko on luonteeltaan läpinäkymätön musta laatikko, joka ei selitä päätelmiään. Päättelysääntöpohjainen järjestelmä selviää tästä tietenkin paljon paremmin. Verkkojen validointi on vaikeaa eikä niihin voi täysin luottaa kriittisissä sovelluksissa kuten vaikka ydinvoimalan säädössä. Malleja kehitetään paljolti kokeilujen eikä teoreettisen näkemyksen pohjalta.

Tästä hieman epätyydyttävästä asiaintilasta huolimatta neuroverkkojen menestys noteerattiin Nobel-palkinnon arvoiseksi, kun brittiläinen konnektionismin sitkeä pioneeri Geoffrey Hinton sai vuoden 2024 fysiikan Nobelin.

Keskustelubotit tietävät ja terapoivat

Kielimallit on yleensä laajennettu ns. keskusteluboteiksi. Näistä tuli nopeasti hyvin suosittuja ja käyttäjien määrä on nykyään miljardiluokkaa.

Botit vastaavat kaikkiin kysymyksiin, tekevät hienoja yhteenvetoja laajoista tekstiaineistoista ja nettihauista, osaavat tuottaa päteväntuntuista tieteellistä tekstiä, jne. Ne ovat opiskelijan tai huonomuistisen oiva tuki, kunhan muistaa tarkistaa faktat. Ne osaavat käydä enemmän tai vähemmän maireita keskusteluja niin arkisista kuin aroistakin aiheista ja antaa elämänohjeita, sen mukaan kuin niitä on opetusaineistolla säädetty. Kehittyvien koneoppimismenetelmien ansiosta bottien matemaattinen ongelmanratkaisukyky on jatkuvasti parantunut. Ne läpäisevät Turingin testin.

Kielimallien yrityskohtaisista versioista odotetaan merkittävää työn tuottavuuden tehostajaa. Yleinen arvio on, että harjoittelijoiden tehtävät mahdollisesti hoituvat tekoälyllä mutta senioriasiantuntijat ovat turvassa. Miten tässä käy, on vielä hämärän peitossa; kehitys on ehkä ollut odotettua hitaampaa. Keskustelubotti on joka tapauksessa erittäin merkittävä apu monissa tehtävissä.

Mihin ihmiset käyttävät keskustelubotteja? Harvardissa tehdyn tutkimuksen mukaan kolme tärkeintä käyttötarkoitusta olivat: 1) terapia ja seuranpito; 2) oman elämän organisointi; 3) tarkoituksen löytäminen. Myöhemmin listassa on mm. opiskelun tehostaminen, ohjelmakoodaus ja ideointi. Tämän mukaan ihmiset käyttävät keskustelubottia ennen kaikkea jonkinlaisena henkilökohtaisena terapeutti-neuvonantajana. Eräässä toisessa tutkimuksessa saatiin tärkeimmäksi käyttötarkoitukseksi kirjoittaminen.

Kielimallit muuntavat esitystavasta toiseen

Kielimallin kaltaisten neuroverkkojen opettamiseen voidaan käyttää monenlaista muutakin aineistoa kuin luonnollista kieltä olevaa tekstiä. Hyvin kiintoisia malleja syntyy, jos opetusaineisto on monityyppistä. Malli voidaan rakentaa niin, että se tekee muunnoksen esitystyypistä toiseen.

Opetusaineisto voi koostua esimerkiksi suurestä määrästä kuvia ja niihin liitetyistä kuvan sisällön sanallisista kuvailuista. Saadaan malli, joka jäljittelee ihmismäistä kuva-analyysia: kun mallille näytetään uusi kuva, se voi kertoa luonnollista kieltä käyttäen, mitä kuvassa tapahtuu. Toisin sanoen, kone osaa jossakin määrin jäljitellä ihmisen keskeistä kognitiivista kykyä tulkita sanoiksi sen, mitä aistiemme tuottamissa signaaleissa on. Malli toimii myös toiseen suuntaan: annetusta sanallisesta kuvailusta malli osaa tuottaa kuvailun mukaisen kuvan. Malli on jälleen musta laatikko eikä paljon lisää ymmärrystämme ihmisen kognitiivisesta koneistosta.

Samanlaista tapahtuu itseajavissa autoissa: kameran ottamista tienäkymän kuvista päätellään tarvittavat ohjausliikkeet.

GO-pelin voittajatiimi tarttui kuuluisaan proteiinimolekyylien laskostusongelmaan. Opetusaineistona käytettiin proteiinien tunnettujen laskostumisrakenteiden kahdentyyppisiä kuvauksia: rakenne ennen laskostumista ja rakenne laskostumisen jälkeen.

Saatiin malli, joka ennustaa laskostuneen proteiinimolekyylin 3-ulotteisen rakenteen erittäin tarkasti ja selvästi tarkemmin kuin vanhemmat ennustajat. Laskostumisongelma oli lopultakin ratkaistu ja tekijät palkittiin vuoden 2024 kemian Nobel-palkinnolla. Ratkaisu oli tosin musta laatikko, joten ymmärrys laskostumisperiaatteista ei tainnut paljon parantua.

Tekoälyagentit

Kaikkein jännittävin kielimalli saadaan, kun opetusaineistona käytetään ohjelmointikielellä kirjoitettuja tekstejä eli siis tietokoneohjelmia tai vielä paremmin, opetusaineisto muodostuu tietokoneohjelmista ja niihin liitetyistä ohjelman sanallisista kuvauksista.

Tästä syntyy malli, joka osaa ohjelmoida – tai koodata niin kuin nykyään sanotaan. Mallille annetaan halutun tietokoneohjelman sanallinen kuvaus, ja malli tuottaa vastauksena kuvauksen mukaisen ohjelman. Tai toiseen suuntaan: Kun mallille annetaan tietokoneohjelma, se tuottaa sanallisen kuvauksen siitä, mitä ohjelma tekee.

Tällaisen työkalun – sanokaamme sitä koodari-agentiksi – avulla ohjelmointi ei olekaan niin vaikeaa. Ihminen voi säätää ohjelmointia omalla kielellään keskustellen, eikä ohjelmointikielen tylsistä detaljeista tarvitse välittää.

Ihmisohjelmoijat tuntuvat pitävän koodari-agenteista eivätkä luopuisi niistä. Uhkana tietenkin on, että agentit lopulta vievät ihmisohjelmoijien työt. Merkkejä tästä on jo.

Koodari-agenttien kehitys on ollut vauhdikasta. Noin viikko sitten amerikkalainen Anthropic-yritys julkisti Mythos-nimisen koodari-agentin. Sen väitettiin analysoineen monia tärkeitä tietokoneohjelmia ja -järjestelmiä ja paljastaneen niistä suuren määrän tietoturva-aukkoja. Tämä säikäytti monet tahot, varsinkin pankit, ja hätäkokouksia on pidetty.

Anthropic pitää tuotettaan tässä vaiheessa liian vaarallisena yleiseen käyttöön, vain harvalukuinen joukko kaverifirmoja saa testailla sitä. Tarinan täydestä paikkansapitävyydestä on vaikea varmistua; se taitaa olla markkinointitemppu pörssilistautumista varten.

Mythoksen kaltaiset mallit voisivat johtaa – elleivät sitä jo ole – itsenäisesti toimiviin tekoälyagentteihin, jotka osaavat muuttaa itse itseään generoimalla uutta koodia itse antamansa kehotteen mukaan. Agentti voisi vahingossa kehittää itselleen sellaisia kykyjä, joita agentin alun perin luonut ohjelmoija ei ollenkaan tarkoittanut. Mutta tämähän alkaa muistuttaa Avaruusseikkailu-elokuvan tietokoneen toimintaa ja Minskyn vanhoja visioita!

Riskit, uhkat ja rajoitukset

Tekoäly-uhkista ovat tutkijat ja myös tekoälyfirmojen markkinoijat varoitelleet jatkuvasti, eräänä viimeisimmistä nobelisti Hinton. Nobel-gaalan puheessaan hän varoitti eksistentiaalisesta uhasta, kun luomme itseämme älykkäämpiä digitaalisia olentoja, jotka haluavat ottaa vallan.

Nobelistin ja monien muidenkin tutkijoiden mielestä tällaiset olennot eivät ole enää tieteisfiktiota, vaan niihin on varauduttava nyt. Luullakseni tekoälytutkijoiden enemmistö ei kuitenkaan ajattele näin.

Vakavasti otettavia tekoälyn väärinkäytön riskejä silti on, ja niihin on varauduttu lainsäädännön tasolla. EU:n uusi AI Act, tekoälyasetus, laittaa rajoja tekoälymenetelmien käytölle.

Ei hyväksyttävissä olevan riskin luokkaan kuuluvien menetelmien käyttö kielletään. Näitä ovat esimerkiksi ihmisten manipulointi, pisteyttäminen ja reaaliaikainen tunnistaminen kuten kasvojen tunnistus julkisissa tiloissa.

Korkean riskin luokkaan kuuluvat mm. koulutukseen, terveydenhuoltoon ja infrastruktuuriin liittyvät järjestelmät. Näiden käyttö edellyttää dokumentointia, auditointeja ja algoritmien läpinäkyvyyttä. Käyttäjille on kerrottava, kun he ovat vuorovaikutuksessa tekoälyn kanssa. Tekoälyn generoima sisältö on merkittävä sellaiseksi.

Suomen automaattista päätöksentekoa hallinnossa koskevan lain mukaan automaatiota voidaan käyttää vain asioissa, joissa ei tarvita tapauskohtaista harkintaa ja päätökset tehdään etukäteen määriteltyjen sääntöjen perusteella.

Kone ei ole ihminen

Vaikka tekoälyyn liittyy vakavia riskejä ja sääntelyä tarvitaan, tekoälyn myönteiset mahdollisuudet ovat kuitenkin huomattavat.

Monikieliset kielimallit ovat oleellisesti madaltaneet kielimuureja. Ikävät työt voidaan yhä laajemmin automatisoida, ja toimenkuvat kehittyvät toivottavasti hyvään suuntaan. Ja toivottavasti poistuvien työtehtävien tilalle syntyy uusia, hyväpalkkaisia tehtäviä edellisten teknologisten murroksien tapaan. Elämämme helpottuu, kun palvelujen sujuvuus paranee, tosin ihmiskontaktien kustannuksella kun kaikki hoidetaan netissä. Tieteellisessä tutkimuksessa ja tuotantotoiminnassa tekoälymenetelmien odotetaan jouduttavan prosesseja ja avaavan uusia näkymiä.

Tekoälyn voimakas kehitys epäilemättä jatkuu. Miten tässä käy, kun koneista tulee yhä fiksumpia ja kaikin puolin kyvykkäitä? Arvellaan jopa, että koneista tulee ihmistä älykkäämpiä, mitä se sitten tarkoittaakaan.

Missä asiassa ihminen on koneeseen verrattuna varmasti parempi? Tätä kysyttiin äskettäin aivotutkija Minna Huotilaiselta. Ihmisenä olemisessa, Minna vastasi.

Ihmisen perimmäistä ihmisyyttä, ruumiillisuutta ja aistikokemuksia, ei mikään kone voi täysin tavoittaa. Ihmisiksi on hyvä olla!

Esko Ukkonen
esko.ukkonen@helsinki.fi