Чому АІ-продукти виходять з ладу, коли навчальні дані не відповідають реальному світу

Вступ

Коли я вперше став свідком провалу продукту на базі штучного інтелекту після багатообіцяючого запуску, проблема полягала не в інтерфейсі, інфраструктурі чи навіть самій моделі. Під час внутрішнього тестування система працювала добре. Показники виглядали переконливими, демонстрації вразили зацікавлені сторони, і впровадження просувалося впевнено. Потім реальні користувачі почали взаємодіяти з нею в неконтрольованому середовищі, і майже відразу з’явилися тріщини. Цей досвід змінив моє уявлення про розробку штучного інтелекту. Сьогодні, коли команди починають обговорювати синтетичні дані для комп'ютерного зору, я зазвичай розглядаю це не стільки як експериментальну технологію, скільки як відповідь на набагато глибшу проблему: більшість систем ШІ навчаються у світах, які набагато чистіші та вужчі за реальність.

Системи ШІ успадковують обмеження своїх середовищ навчання

Одне з найбільших помилкових уявлень щодо ШІ — це віра в те, що моделі стають розумними в широкому, людському розумінні. На практиці більшість систем сильно залежать від середовищ, з яких вони навчаються.

Якщо модель навчається переважно на чітких прикладах, вона вчиться очікувати чітких вхідних даних. Якщо вона рідко стикається з неоднозначністю, то пізніше вона не може з нею впоратися. Якщо під час навчання відсутні важливі граничні умови, модель не має значущої точки відліку, коли ці умови з’являються у виробництві.

Ось чому багато продуктів ШІ виглядають вражаюче під час контрольованих демонстрацій, але поводяться нестабільно після впровадження. Проблема не завжди полягає в тому, що модель слабка. Часто система просто працює за межами того, що вона була готова інтерпретувати.

Реальні умови складніші, ніж очікують команди

Раннє тестування продукту зазвичай відбувається в сприятливих умовах.

Зображення відносно чіткі. Поведінка користувачів є дещо передбачуваною. Сценарії підбираються навмисно. Потоки даних ще достатньо малі, щоб ними можна було ретельно керувати.

Реальні середовища відрізняються. Освітлення змінюється. Пристрої поводяться нестабільно. Вхідні дані стають більш зашумленими. Поведінка людей стає менш структурованою. Рідкісні умови виникають частіше, ніж очікувалося. Змінні взаємодіють у комбінаціях, які ніхто явно не тестував.

Саме через цей розрив між контрольованим тестуванням та реальними умовами експлуатації багато систем штучного інтелекту починають давати збій.

Ця проблема особливо помітна в продуктах комп'ютерного зору, оскільки візуальні середовища за своєю природою нестабільні. Незначні зміни, які люди ледь помічають, можуть радикально вплинути на впевненість моделі та якість прогнозів.

Більше даних не вирішує проблему автоматично

Коли виникають проблеми з продуктивністю, стандартна реакція зазвичай проста: зібрати більше даних.

На перший погляд, це має сенс. Більше прикладів має покращити навчання. Але на практиці набори даних із реального світу часто розширюються нерівномірно. Команди збирають більше того, що легко зафіксувати, при цьому пропускаючи умови, які мають найбільше значення.

Результатом є масштаб без значущого охоплення.

Система ШІ може обробляти мільйони прикладів і все одно давати збій у певних умовах середовища, оскільки ці умови залишаються недостатньо представленими. Організація трактує це як проблему моделювання, хоча насправді це проблема середовища даних.

Це одна з причин, чому багато ініціатив у сфері ШІ зупиняються на досягнутому рівні. Додаткові зусилля дають незначні поліпшення, оскільки система навчається на основі світу, який залишається структурно неповним.

Демоверсії винагороджують досконалість, а виробництво — стійкість

Однією з причин, чому ця проблема залишається актуальною, є те, що демо-версії та реальні впровадження оптимізуються для різних речей.

Демоверсії винагороджують плавність роботи. Команди, природно, демонструють середовища, в яких система працює добре. Мета — впевненість і імпульс.

Виробничі середовища цінують стійкість. Системи повинні поводитися передбачувано навіть тоді, коли умови погіршуються, користувачі поводяться несподівано або вхідні дані стають непослідовними.

Досконала демонстрація може приховати хисткі припущення щодо даних, від яких залежить система. Ці припущення часто залишаються невидимими, доки масштабування не вносить мінливість, яка ніколи не була частиною навчання.

Ось чому організації іноді відчувають себе збитими з пантелику після запуску. З їхньої точки зору, продукт «працював» до розгортання. Насправді ж він працював у ретельно обмеженому середовищі.

Продукти ШІ виходять з ладу поступово, перш ніж це стає помітно

Одне з найцікавіших моментів щодо проблем надійності ШІ полягає в тому, що вони часто виникають повільно.

Спочатку користувачі помічають випадкові невідповідності. Команди впроваджують етапи ручного перегляду. Порогові значення впевненості коригуються. Граничні випадки передаються на розгляд людям.

З часом приховані операційні тертя зростають. Співробітники перестають повністю довіряти автоматизації. Клієнти стикаються з непередбачуваними ситуаціями. Команди підтримки витрачають більше часу на обробку винятків.

Продукт технічно все ще функціонує, але операційне навантаження, пов’язане з ним, постійно зростає.

Таке поступове підривання довіри трапляється набагато частіше, ніж катастрофічні збої, і зазвичай пов’язане з однією й тією ж основною проблемою: система ніколи не навчалася на достатньо репрезентативному середовищі.

Чому синтетичні середовища стають все важливішими

Саме тут синтетичні дані стають стратегічно корисними.

Я не розглядаю синтетичні середовища як заміну реальності. Я бачу в них інструменти для розширення того, що реальність сама по собі не може забезпечити. Команди можуть вводити контрольовані варіації, моделювати рідкісні умови та навмисно тестувати крайні випадки, замість того щоб чекати, поки вони з’являться природним чином.

Це суттєво змінює процес розробки.

Замість того, щоб повністю покладатися на пасивний збір даних, організації можуть активно формувати умови, за яких навчаються системи ШІ. Вони можуть структуровано досліджувати варіації освітлення, шум навколишнього середовища, взаємодію об’єктів та незвичайні сценарії.

Цінність полягає не лише в штучному реалізмі. Цінність полягає в контрольованому охопленні.

Надійність залежить від навмисних варіацій

Потужні системи ШІ не просто навчаються на великих обсягах даних. Вони навчаються на значущих варіаціях.

Ця відмінність має значення, оскільки реальні середовища сповнені тонких відмінностей. Кути нахилу камери змінюються. Погода впливає на видимість. Поведінка користувачів еволюціонує. Якість апаратного забезпечення варіюється.

Якщо ці варіації відсутні під час навчання, впровадження стає непередбачуваним.

Синтетичні середовища дозволяють командам навмисно моделювати ці відмінності. Замість того, щоб сподіватися, що важливі умови з’являться природно у зібраних даних, вони можуть систематично вводити їх та оцінювати, як поводиться система.

Це робить надійність вимірюваною, а не випадковою.

Розробка ШІ стає дисципліною інфраструктури

У галузі відбувається більш широка зміна.

На початку розвиток ШІ був зосереджений переважно на архітектурі моделей та експериментах. Все частіше складні проблеми стосуються інфраструктури. Якість даних, відтворюваність, контроль середовища та конвеєри валідації зараз визначають результати не менше, ніж вибір алгоритмів.

Організації починають усвідомлювати, що системи ШІ — це не просто програмні продукти. Це навчальні системи, надійність яких залежить від середовищ, в яких вони перебувають під час навчання.

Це усвідомлення змінює підхід команд до стратегії роботи з даними.

Навчальні середовища перестають розглядатися як тимчасові активи і починають розглядатися як операційна інфраструктура.

Відтворюваність має більше значення, ніж усвідомлюють більшість команд

Однією з причин, чому контрольовані середовища мають значення, є відтворюваність.

Коли продуктивність несподівано змінюється, команди повинні зрозуміти, чому. Це стає надзвичайно складним, коли набори даних розвиваються неконтрольовано або зміни середовища недостатньо задокументовані.

Синтетичні середовища спрощують контрольоване експериментування. Можна відтворити умови, налаштувати параметри та порівняти поведінку системи в повторюваних сценаріях.

Це зменшує кількість припущень і дозволяє командам більш систематично діагностувати слабкі місця.

Для продуктів штучного інтелекту, що працюють у великих масштабах, така операційна прозорість стає дедалі ціннішою.

Чому довіру користувачів важко відновити

Мабуть, найбільшою проблемою ненадійних систем ШІ є те, що довіра є крихкою.

Користувачі можуть терпіти випадкові помилки в традиційному програмному забезпеченні, оскільки логіка здається зрозумілою. Збої ШІ часто здаються нелогічними та важко передбачуваними. Ця непередбачуваність змінює те, як люди взаємодіють із продуктом.

Як тільки користувачі починають очікувати ненадійної поведінки, темпи впровадження сповільнюються. Зростає кількість ручної перевірки. Довіра знижується, навіть якщо система згодом покращується.

Ось чому настільки важливі потужні середовища навчання. Надійність — це не лише технічний показник. Вона формує емоційне ставлення людей до самого продукту.

Наступне покоління продуктів ШІ

Наступне покоління успішних продуктів ШІ, ймовірно, буде відрізнятися від багатьох ранніх систем.

Вони не будуть просто покладатися на більші моделі або більшу обчислювальну потужність. Вони залежатимуть від краще контрольованих навчальних середовищ, сильніших стратегій валідації та більш обдуманих підходів до варіацій та охоплення крайніх випадків.

Організації, які це розуміють, вже змінюють свої пріоритети. Вони інвестують більше коштів у інфраструктуру даних, конвеєри моделювання та контрольовані середовища тестування, оскільки усвідомлюють, що однієї лише якості моделі недостатньо.

Заключна думка

Більшість продуктів ШІ зазнають невдачі не через те, що технологія є неспроможною. Вони зазнають невдачі, оскільки середовища, що використовуються для їхнього навчання, є занадто вузькими порівняно з середовищами, з якими вони зрештою стикаються.

Як тільки з’являється така невідповідність, робочі процеси стають нестабільними, довіра користувачів підривається, а операційні витрати непомітно зростають у фоновому режимі.

Організації, які створюють більш надійні системи, зазвичай готові ставитися до середовищ навчання так само серйозно, як до коду, інфраструктури та конвеєрів розгортання.

Ця зміна може бути не такою помітною, як випуск нової моделі, але на практиці саме вона часто визначає, чи залишиться продукт ШІ вражаючим лише в демо-версіях, чи продовжить надійно працювати, коли зіткнеться з реальним світом.