Защо продуктите с изкуствен интелект се провалят, когато данните за обучение не съответстват на реалния свят

Въведение

Първият път, когато видях как продукт, базиран на изкуствен интелект, се провали след обещаващо пускане на пазара, проблемът не беше в интерфейса, инфраструктурата или дори в самия модел. Системата беше работила добре по време на вътрешните тестове. Показателите изглеждаха добри, демонстрациите впечатлиха заинтересованите страни и пускането на пазара напредна уверено. Тогава реалните потребители започнаха да взаимодействат с нея в неконтролирана среда и почти веднага се появиха пропуските. Този опит промени начина, по който възприемам разработването на изкуствен интелект. Днес, когато екипите започват да обсъждат синтетичните данни за компютърно зрение, аз обикновено ги разглеждам не толкова като експериментална технология, колкото като отговор на един много по-дълбок проблем: повечето AI системи се обучават в светове, които са много по-чисти и по-тесни от реалността.

Системите за изкуствен интелект наследяват ограниченията на своите обучителни среди

Едно от най-големите погрешни схващания относно ИИ е вярването, че моделите стават интелигентни в широк, човешки смисъл. На практика повечето системи са силно зависими от средите, от които се учат.

Ако даден модел е обучен предимно на чисти примери, той се научава да очаква чисти входни данни. Ако рядко се сблъсква с двусмислие, по-късно се затруднява при справянето с него. Ако по време на обучението липсват важни гранични условия, моделът няма смислена отправна точка, когато тези условия се появят в производствената среда.

Ето защо много продукти с изкуствен интелект изглеждат впечатляващи по време на контролирани демонстрации, но се държат непоследователно след внедряването. Проблемът не винаги е, че моделът е слаб. Често системата просто работи извън границите на това, за което е била подготвена да интерпретира.

Реалните условия са по-трудни, отколкото екипите очакват

Ранното тестване на продуктите обикновено се извършва при благоприятни условия.

Изображенията са относително ясни. Поведението на потребителите е донякъде предсказуемо. Сценариите са подбрани умишлено. Потоците от данни все още са достатъчно малки, за да се управляват внимателно.

Реалните среди са различни. Осветлението се променя. Устройствата се държат непоследователно. Входните данни стават по-шумни. Човешкото поведение става по-малко структурирано. Редки условия се появяват по-често от очакваното. Променливите взаимодействат в комбинации, които никой не е тествал изрично.

Тази разлика между контролираното тестване и оперативната реалност е мястото, където много AI системи започват да се провалят.

Проблемът е особено видим в продуктите за компютърно зрение, защото визуалните среди са по своята същност нестабилни. Малки промени, които едва се забелязват от хората, могат да повлияят радикално на надеждността на модела и качеството на прогнозите.

Повече данни не решават автоматично проблема

Когато възникнат проблеми с производителността, стандартният отговор обикновено е ясен: съберете повече данни.

На пръв поглед това има смисъл. Повече примери би трябвало да подобрят обучението. Но на практика наборите от данни от реалния свят често се разширяват неравномерно. Екипите събират повече от това, което е лесно за улавяне, докато все още пропускат условията, които са най-важни.

Резултатът е мащаб без значимо покритие.

Една система за изкуствен интелект може да обработва милиони примери и все пак да се провали при конкретни условия на околната среда, защото тези условия остават недостатъчно представени. Организацията тълкува това като проблем с моделирането, докато всъщност става въпрос за проблем с данните.

Това е една от причините много инициативи в областта на изкуствения интелект да стигнат до застой. Допълнителните усилия водят до по-малки подобрения, защото системата се учи от свят, който остава структурно непълен.

Демонстрациите награждават изпипаността, а производството – устойчивостта

Една от причините този проблем да продължава да съществува е, че демонстрациите и реалните внедрявания се оптимизират за различни неща.

Демонстрациите награждават гладкостта. Екипите естествено представят среди, в които системата работи добре. Целта е да се изгради доверие и инерция.

Производствените среди награждават устойчивостта. Системите трябва да се държат предсказуемо, дори когато условията се влошават, потребителите се държат неочаквано или входните данни стават непоследователни.

Една изпипана демонстрация може да скрие нестабилни предположения относно данните, от които зависи системата. Тези предположения често остават невидими, докато мащабът не въведе променливост, която никога не е била част от обучението.

Ето защо организациите понякога се чувстват изненадани след пускането на продукта. От тяхна гледна точка продуктът е „работил“ преди внедряването. В действителност той е работил в внимателно ограничена среда.

AI продуктите се провалят постепенно, преди да се провалят видимо

Едно от най-интересните неща относно проблемите с надеждността на ИИ е, че те често възникват бавно.

Първоначално потребителите забелязват спорадични несъответствия. Екипите въвеждат стъпки за ръчна проверка. Праговете на доверие се коригират. Крайните случаи се прехвърлят на хора.

С течение на времето скритите оперативни проблеми нарастват. Служителите спират да вярват напълно на автоматизацията. Клиентите се сблъскват с непредвидими преживявания. Екипите за поддръжка прекарват повече време в справяне с изключения.

Продуктът все още функционира технически, но оперативната тежест около него нараства постоянно.

Това постепенно подкопаване на доверието е много по-често срещано от катастрофалните откази и обикновено се дължи на един и същ основен проблем: системата никога не се е учила от достатъчно представителна среда.

Защо синтетичните среди стават все по-важни

Тук синтетичните данни стават стратегически полезни.

Не разглеждам синтетичните среди като заместители на реалността. Разглеждам ги като инструменти за разширяване на това, което реалността сама по себе си трудно може да предостави. Екипите могат да въвеждат контролирани вариации, да симулират редки условия и да тестват крайни случаи умишлено, вместо да чакат те да се появят естествено.

Това променя значително процеса на разработка.

Вместо да разчитат изцяло на пасивно събиране на данни, организациите могат активно да формират условията, при които системите за изкуствен интелект се обучават. Те могат да изследват вариации в осветлението, шума в околната среда, взаимодействията между обектите и необичайни сценарии по структуриран начин.

Стойността не е само в изкуствения реализъм. Стойността е в контролираното покритие.

Надеждността зависи от целенасочените вариации

Силните AI системи не се обучават просто на големи количества данни. Те се обучават на значими вариации.

Това разграничение е важно, защото реалните среди са пълни с фини разлики. Ъглите на камерите се променят. Времето променя видимостта. Поведението на потребителите се развива. Качеството на хардуера варира.

Ако тези вариации липсват по време на обучението, внедряването става непредсказуемо.

Синтетичните среди позволяват на екипите да моделират тези разлики умишлено. Вместо да се надяват важни условия да се появят естествено в събраните данни, те могат да ги въведат систематично и да оценят как се държи системата.

Това прави устойчивостта измерима, а не случайна.

Разработката на ИИ се превръща в инфраструктурна дисциплина

В цялата индустрия се наблюдава по-широка промяна.

Ранното развитие на ИИ се фокусираше предимно върху архитектурата на моделите и експериментирането. Все по-често трудните проблеми са инфраструктурни. Качеството на данните, възпроизводимостта, контролът на средата и валидационните процеси сега определят резултатите в същата степен, както изборът на алгоритми.

Организациите започват да осъзнават, че системите за изкуствен интелект не са просто софтуерни продукти. Те са системи за учене, чиято надеждност зависи от средата, в която се намират по време на обучението.

Това осъзнаване променя начина, по който екипите възприемат стратегията за данни.

Обучителните среди престават да се разглеждат като временни активи и започват да се третират като оперативна инфраструктура.

Възпроизводимостта е по-важна, отколкото повечето екипи осъзнават

Една от причините, поради които контролираните среди са важни, е възпроизводимостта.

Когато производителността се променя неочаквано, екипите трябва да разберат защо. Това става изключително трудно, когато наборите от данни се развиват по неконтролиран начин или вариациите в средата са слабо документирани.

Синтетичните среди улесняват контролираните експерименти. Условията могат да бъдат възпроизведени, параметрите коригирани, а поведението на системата сравнено при повтарящи се сценарии.

Това намалява догадките и позволява на екипите да диагностицират слабостите по-систематично.

За AI продукти, работещи в голям мащаб, тази оперативна яснота става все по-ценна.

Защо е трудно да се възстанови доверието на потребителите

Може би най-голямото предизвикателство при ненадеждните AI системи е, че доверието е крехко.

Потребителите могат да толерират случайни грешки в традиционния софтуер, защото логиката изглежда разбираема. Отказите на ИИ често изглеждат непоследователни и трудни за предсказване. Тази непредсказуемост променя начина, по който хората взаимодействат с продукта.

Веднъж след като потребителите започнат да очакват ненадеждно поведение, приемането на продукта се забавя. Ръчната проверка се увеличава. Доверието намалява, дори ако системата се подобри по-късно.

Ето защо стабилните среди за обучение са толкова важни. Надеждността не е просто технически показател. Тя определя как хората се отнасят емоционално към самия продукт.

Следващото поколение продукти с изкуствен интелект

Следващото поколение успешни продукти с изкуствен интелект вероятно ще изглежда по-различно от много от ранните системи.

Те няма просто да разчитат на по-големи модели или повече изчислителна мощ. Те ще зависят от по-добре контролирани среди за обучение, по-силни стратегии за валидиране и по-обмислени подходи към вариациите и покритието на крайни случаи.

Организациите, които разбират това, вече променят приоритетите си. Те инвестират повече в инфраструктура за данни, симулационни процеси и контролирани тестови среди, защото осъзнават, че само качеството на модела не е достатъчно.

Заключителна мисъл

Повечето продукти с изкуствен интелект не се провалят, защото технологията е неспособна. Те се провалят, защото средите, използвани за тяхното обучение, са твърде ограничени в сравнение със средите, с които в крайна сметка се сблъскват.

Веднъж щом се появи това несъответствие, работните процеси стават нестабилни, доверието на потребителите се подкопава, а оперативните разходи тихо нарастват на заден план.

Организациите, които изграждат по-надеждни системи, обикновено са тези, които са готови да третират средите за обучение толкова сериозно, колкото третират кода, инфраструктурата и тръбопроводите за внедряване.

Тази промяна може да не е толкова видима, колкото пускането на нов модел, но на практика често именно тя определя дали даден AI продукт остава впечатляващ само в демонстрациите или продължава да работи надеждно, когато се сблъска с реалния свят.