Miksi tekoälytuotteet epäonnistuvat, kun harjoitusdata ei vastaa todellista maailmaa?

Johdanto

Kun näin ensimmäisen kerran, kuinka tekoälytuote romahti lupaavan lanseerauksen jälkeen, ongelma ei ollut käyttöliittymässä, infrastruktuurissa tai edes itse mallissa. Järjestelmä oli toiminut hyvin sisäisissä testeissä. Mittarit näyttivät vahvoilta, esittelyt tekivät vaikutuksen sidosryhmiin ja käyttöönotto eteni luottavaisin mielin. Sitten todelliset käyttäjät alkoivat käyttää sitä hallitsemattomissa ympäristöissä, ja ongelmat ilmenivät lähes välittömästi. Tuo kokemus muutti ajattelutapani tekoälyn kehittämisestä. Nykyään, kun tiimit alkavat keskustella synteettisestä datasta tietokoneen näkökyvyn kannalta, en yleensä näe sitä niinkään kokeellisena teknologiana vaan pikemminkin vastauksena paljon syvempään ongelmaan: useimmat tekoälyjärjestelmät on koulutettu ympäristöissä, jotka ovat paljon puhtaampia ja kapeampia kuin todellisuus.

Tekoälyjärjestelmät perivät koulutusympäristöjensä rajoitukset

Yksi suurimmista tekoälyä koskevista väärinkäsityksistä on uskomus, että mallit muuttuvat älykkäiksi laajassa, inhimillisessä mielessä. Käytännössä useimmat järjestelmät ovat erittäin riippuvaisia ympäristöistä, joista ne oppivat.

Jos malli on koulutettu pääasiassa puhtailla esimerkeillä, se oppii odottamaan puhtaita syötteitä. Jos se kohtaa harvoin epäselvyyksiä, se kamppailee myöhemmin epäselvyyksien kanssa. Jos tärkeitä ääritilanteita ei ole mukana koulutuksen aikana, mallilla ei ole merkityksellistä vertailukohtaa, kun nämä tilanteet ilmenevät tuotantokäytössä.

Tämän vuoksi monet tekoälytuotteet näyttävät vaikuttavilta hallituissa esittelyissä, mutta toimivat epäjohdonmukaisesti käyttöönoton jälkeen. Ongelma ei aina ole se, että malli on heikko. Usein järjestelmä toimii yksinkertaisesti sen tulkintakyvyn rajojen ulkopuolella.

Todelliset olosuhteet ovat vaikeampia kuin tiimit odottavat

Tuotteen varhainen testaus tapahtuu yleensä suotuisissa olosuhteissa.

Kuvat ovat suhteellisen selkeitä. Käyttäjien käyttäytyminen on jonkin verran ennustettavaa. Skenaariot on valittu tarkoituksella. Dataputket ovat vielä riittävän pieniä, jotta niitä voidaan hallita huolellisesti.

Todelliset ympäristöt ovat erilaisia. Valaistus muuttuu. Laitteet toimivat epäjohdonmukaisesti. Syötteet muuttuvat meluisammiksi. Ihmisten käyttäytyminen muuttuu vähemmän jäsennellyksi. Harvinaiset olosuhteet esiintyvät odotettua useammin. Muuttujat vaikuttavat toisiinsa yhdistelmissä, joita kukaan ei ole nimenomaisesti testannut.

Tämä kuilu kontrolloidun testauksen ja toiminnallisen todellisuuden välillä on se kohta, jossa monet tekoälyjärjestelmät alkavat epäonnistua.

Ongelma on erityisen näkyvissä tietokonenäkötuotteissa, koska visuaaliset ympäristöt ovat luonnostaan epävakaita. Pienet muutokset, joita ihmiset tuskin huomaavat, voivat vaikuttaa radikaalisti mallin luotettavuuteen ja ennusteiden laatuun.

Lisää dataa ei ratkaise ongelmaa automaattisesti

Kun suorituskykyongelmia ilmenee, oletusreaktio on yleensä yksinkertainen: kerätään lisää dataa.

Päällisin puolin tämä on järkevää. Lisää esimerkkejä pitäisi parantaa oppimista. Käytännössä todelliset tietojoukot kuitenkin laajenevat usein epätasaisesti. Tiimit keräävät enemmän sitä, mitä on helppo tallentaa, mutta jättävät silti huomiotta tärkeimmät olosuhteet.

Tuloksena on laajuus ilman merkittävää kattavuutta.

Tekoälyjärjestelmä voi käsitellä miljoonia esimerkkejä ja silti epäonnistua tietyissä ympäristöolosuhteissa, koska nämä olosuhteet ovat edelleen aliedustettuina. Organisaatio tulkitsee tämän mallinnusongelmaksi, vaikka kyseessä onkin itse asiassa data-ympäristöön liittyvä ongelma.

Tämä on yksi syy siihen, miksi monet tekoälyhankkeet pysähtyvät. Lisäponnistelut tuottavat vain pieniä parannuksia, koska järjestelmä oppii maailmasta, joka on rakenteellisesti epätäydellinen.

Esittelyt palkitsevat viimeistelyä, tuotanto palkitsee kestävyyttä

Yksi syy tämän ongelman jatkumiseen on se, että demot ja todelliset käyttöönotot optimoidaan eri asioiden suhteen.

Demoissa palkitaan sujuvuus. Tiimit esittelevät luonnollisesti ympäristöjä, joissa järjestelmä toimii hyvin. Tavoitteena on luottamus ja vauhti.

Tuotantoympäristöt palkitsevat kestävyyttä. Järjestelmien on toimittava ennustettavasti, vaikka olosuhteet heikkenisivät, käyttäjät käyttäytyisivät odottamattomasti tai syötteet muuttuisivat epäjohdonmukaisiksi.

Viimeistelty demo voi peittää hauraat oletukset järjestelmän perustana olevista tiedoista. Nämä oletukset pysyvät usein näkymättöminä, kunnes laajentaminen tuo mukanaan vaihtelevuutta, jota ei ole koskaan otettu huomioon koulutuksessa.

Tämän vuoksi organisaatiot tuntevat joskus tulleensa yllätetyiksi julkaisun jälkeen. Heidän näkökulmastaan tuote "toimii" ennen käyttöönottoa. Todellisuudessa se toimi huolellisesti rajoitetussa ympäristössä.

Tekoälytuotteet epäonnistuvat vähitellen ennen kuin epäonnistuminen tulee näkyväksi

Yksi mielenkiintoisimmista asioista tekoälyn luotettavuusongelmissa on, että ne ilmenevät usein hitaasti.

Aluksi käyttäjät huomaavat satunnaisia epäjohdonmukaisuuksia. Tiimit ottavat käyttöön manuaalisia tarkistusvaiheita. Luottamuskynnyksiä säädetään. Äärimmäiset tapaukset siirretään ihmisten käsiteltäviksi.

Ajan myötä piilevät toiminnalliset kitkat kasvavat. Työntekijät lakkaavat luottamasta täysin automaatioon. Asiakkaat kohtaavat arvaamattomia kokemuksia. Tukitiimit käyttävät enemmän aikaa poikkeustapausten käsittelyyn.

Tuote toimii edelleen teknisesti, mutta sen ympärillä oleva toiminnallinen taakka kasvaa tasaisesti.

Tämä luottamuksen asteittainen heikkeneminen on paljon yleisempää kuin katastrofaaliset viat, ja se johtuu yleensä samasta perimmäisestä syystä: järjestelmä ei ole oppinut riittävän edustavasta ympäristöstä.

Miksi synteettiset ympäristöt ovat yhä tärkeämpiä

Tässä vaiheessa synteettisestä datasta tulee strategisesti hyödyllistä.

En näe synteettisiä ympäristöjä todellisuuden korvikkeina. Näen ne työkaluina, joilla voidaan laajentaa sitä, mitä todellisuus yksinään ei pysty tarjoamaan. Tiimit voivat tuoda hallittua vaihtelua, simuloida harvinaisia olosuhteita ja testata ääritapauksia tarkoituksellisesti sen sijaan, että odottaisivat niiden ilmaantuvan luonnollisesti.

Tämä muuttaa kehitysprosessia merkittävästi.

Sen sijaan, että organisaatiot luottaisivat täysin passiiviseen tiedonkeruuseen, ne voivat aktiivisesti muokata olosuhteita, joissa tekoälyjärjestelmät oppivat. Ne voivat tutkia valaistuksen vaihteluita, ympäristön melua, esineiden vuorovaikutusta ja epätavallisia skenaarioita jäsennellyllä tavalla.

Arvo ei ole pelkästään keinotekoinen realismi. Arvo on hallittu kattavuus.

Luotettavuus riippuu tarkoituksellisesta vaihtelusta

Vahvat tekoälyjärjestelmät eivät ole pelkästään koulutettuja suurilla datamäärillä. Ne on koulutettu merkityksellisillä vaihteluilla.

Tämä ero on tärkeä, koska todellisessa ympäristössä on paljon hienovaraisia eroja. Kamerakulmat muuttuvat. Sää vaikuttaa näkyvyyteen. Käyttäjien käyttäytyminen kehittyy. Laitteiston laatu vaihtelee.

Jos näitä vaihteluita ei oteta huomioon koulutuksen aikana, käyttöönotto muuttuu arvaamattomaksi.

Synteettisten ympäristöjen avulla tiimit voivat mallintaa näitä eroja tarkoituksellisesti. Sen sijaan, että toivottaisiin tärkeiden olosuhteiden ilmestyvän luonnollisesti kerättyihin tietoihin, ne voidaan tuoda mukaan järjestelmällisesti ja arvioida, miten järjestelmä käyttäytyy.

Tämä tekee järjestelmän kestävyydestä mitattavan sen sijaan, että se olisi sattumanvaraista.

Tekoälyn kehittäminen on muuttumassa infrastruktuurin alaksi

Koko alalla on meneillään laajempi muutos.

Varhainen tekoälyn kehitys keskittyi vahvasti mallin arkkitehtuuriin ja kokeiluihin. Yhä useammin vaikeat ongelmat liittyvät infrastruktuuriin. Datan laatu, toistettavuus, ympäristön hallinta ja validointiprosessit vaikuttavat nyt tuloksiin yhtä paljon kuin algoritmien valinta.

Organisaatiot ovat alkaneet ymmärtää, että tekoälyjärjestelmät eivät ole pelkästään ohjelmistotuotteita. Ne ovat oppivia järjestelmiä, joiden luotettavuus riippuu ympäristöistä, joissa ne toimivat koulutuksen aikana.

Tämä oivallus muuttaa tiimien ajattelutapaa datastrategiasta.

Koulutusympäristöjä ei enää pidetä väliaikaisina resursseina, vaan ne alkavat olla osa operatiivista infrastruktuuria.

Toistettavuus on tärkeämpää kuin useimmat tiimit ymmärtävät

Yksi syy kontrolloitujen ympäristöjen merkitykseen on toistettavuus.

Kun suorituskyky muuttuu odottamattomasti, tiimien on ymmärrettävä miksi. Se on erittäin vaikeaa, kun datajoukot kehittyvät hallitsemattomasti tai ympäristön vaihtelu on dokumentoitu huonosti.

Synteettiset ympäristöt helpottavat hallittua kokeilua. Olosuhteet voidaan luoda uudelleen, parametreja säätää ja järjestelmän käyttäytymistä verrata toistettavissa skenaarioissa.

Tämä vähentää arvailua ja antaa tiimeille mahdollisuuden diagnosoida heikkouksia järjestelmällisemmin.

Laajamittaisesti toimivien tekoälytuotteiden kohdalla tämä toiminnan selkeys on yhä arvokkaampaa.

Miksi käyttäjien luottamusta on vaikea palauttaa

Ehkä suurin haaste epäluotettavien tekoälyjärjestelmien kanssa on se, että luottamus on hauras.

Käyttäjät saattavat sietää satunnaisia virheitä perinteisissä ohjelmistoissa, koska niiden logiikka tuntuu ymmärrettävältä. Tekoälyn virheet tuntuvat usein epäjohdonmukaisilta ja vaikeasti ennustettavilta. Tämä arvaamattomuus muuttaa sitä, miten ihmiset suhtautuvat tuotteeseen.

Kun käyttäjät alkavat odottaa epäluotettavaa käyttäytymistä, käyttöönotto hidastuu. Manuaalinen tarkistaminen lisääntyy. Luottamus heikkenee, vaikka järjestelmä myöhemmin parantuisi.

Siksi vahvat koulutusympäristöt ovat niin tärkeitä. Luotettavuus ei ole pelkkä tekninen mittari. Se muokkaa sitä, miten ihmiset suhtautuvat tuotteeseen emotionaalisesti.

Seuraavan sukupolven tekoälytuotteet

Seuraavan sukupolven menestyksekkäät tekoälytuotteet tulevat todennäköisesti näyttämään erilaisilta kuin monet varhaiset järjestelmät.

Ne eivät nojaudu pelkästään suurempiin malleihin tai suurempaan laskentatehoon. Ne riippuvat paremmin hallituista oppimisympäristöistä, vahvemmista validointistrategioista ja harkituimmista lähestymistavoista vaihteluun ja ääritapausten kattamiseen.

Tämän ymmärtävät organisaatiot ovat jo siirtämässä painopisteitään. Ne investoivat entistä voimakkaammin datainfrastruktuuriin, simulointiprosesseihin ja hallittuihin testausympäristöihin, koska ne tunnustavat, että pelkkä mallin laatu ei riitä.

Lopuksi

Useimmat tekoälytuotteet eivät epäonnistu siksi, että teknologia olisi kykenemätöntä. Ne epäonnistuvat, koska niiden kouluttamiseen käytetyt ympäristöt ovat liian kapeita verrattuna ympäristöihin, joihin ne lopulta joutuvat.

Kun tämä epäsuhta ilmenee, työnkulut muuttuvat epävakaiksi, käyttäjien luottamus heikkenee ja toimintakustannukset nousevat hiljaa taustalla.

Luotettavampia järjestelmiä rakentavat organisaatiot ovat yleensä niitä, jotka ovat valmiita suhtautumaan koulutusympäristöihin yhtä vakavasti kuin koodiin, infrastruktuuriin ja käyttöönottoprosesseihin.

Tämä muutos ei ehkä ole yhtä näkyvä kuin uuden mallin julkaisu, mutta käytännössä se on usein se tekijä, joka ratkaisee, jääkö tekoälytuote vaikuttavaksi vain esittelyissä vai toimiiko se luotettavasti myös todellisessa ympäristössä.