ИИ учится только на прошлом и потому принимает собак за волков

Многие впервые узнали об искусственном интеллекте из фильмов вроде «Терминатора» и «Матрицы», где умная машина однажды восстаёт против людей. Сегодня ИИ одобряет кредиты, считает страховые взносы, торгует на бирже и помогает ставить диагнозы, но ни одна из этих систем не похожа на киношного злодея. Её настоящая слабость совсем другая и намного старше компьютеров. Шотландский философ описал её ещё в XVIII веке.

Программа учится, когда ей указывают на ошибки

Обычный компьютер перемножит 1230 на 2480 мгновенно и выполнит миллионы таких действий за секунду. Но каждый его шаг заранее прописали люди. Если ситуация хоть немного отличается от предусмотренной, машина обычно ломается. Интеллектом её поведение называют тогда, когда она справляется с тем, чему её прямо не учили: сама находит в данных закономерность и применяет её к новому случаю.

Возьмём программу, которая отличает птиц. Ей задают признаки и вес каждого: две ноги и клюв по 20%, крылья и перья по 30%. Ворона набирает все 100%, значит, птица. У пингвина крылья похожи на руки, перьев на снимке не разглядеть, и программа насчитывает лишь 40%. Вердикт: не птица.

Человек поправляет её, и программа сама перераспределяет веса: меньше значения перьям и крыльям, больше клюву и ногам. Заодно она усваивает, что для птицы может хватить и 80% совпадения. После тысяч снимков и тысяч поправок она узнаёт даже птицу, которой никогда не видела. Это и называется обучением. Для машины птица остаётся набором чисел, а не живым существом. Остаётся вопрос, какие именно числа она запомнит.

Машине нужны горы примеров, и мы сами их дали

Одна обученная программа отвечает на один вопрос. «Птица или нет» — это одна задача. «Какая это птица» — уже другая, и для неё нужно новое обучение, часто с нуля. Поэтому фантасты писали об ИИ десятилетиями, а заметный рывок случился совсем недавно.

Его сделали возможным две вещи. За последние 20 лет компьютеры стали быстрее в несколько тысяч раз, а в 1990-е такие программы просто не на чем было запускать. Потом появились соцсети. Человек выкладывает фото своего пса с подписью «собака» и тем самым даёт системе ещё один готовый учебный пример. Миллионы людей делают это каждый день.

С текстами происходит то же самое. Комментарии и подписи учат машины живой речи со сленгом и местными оборотами, которых нет в словарях. Кто хоть раз переводил настоящий разговор в текст, например заказывал расшифровку аудиозаписи, знает, как сильно устная речь отличается от книжной. Но чем больше примеров получает машина, тем острее старый вопрос: чему можно научиться, если видишь только прошлое?

Юм доказал: прошлое ничего не обещает

Дэвид Юм заметил неудобную вещь. Сколько бы восходов вы ни видели, из этого логически не следует, что солнце взойдёт завтра. Мы ждём восхода по привычке: раньше повторялось, значит, повторится и теперь. Эту трудность назвали проблемой индукции.

Она неочевидна, потому что на таком переносе прошлого на будущее держатся вся наша жизнь и почти вся наука. Позже Бертран Рассел пояснил её на курице, которую фермер кормил каждое утро. Курица была уверена в закономерности до того дня, когда фермер пришёл с топором. Вывод Юма: опыт учит закономерностям, но не говорит, какие из них настоящие, а какие случайные.

Обучаемая программа и есть индукция в чистом виде. Кроме прошлых примеров, у неё ничего нет. Если среди них затесалась случайная закономерность, машина отнесётся к ней так же серьёзно, как к главной.

Собаку на снегу машина объявила волком

Одну систему учили различать животных. На проверке она стала называть некоторых собак волками, и долго никто не понимал почему. Разгадка оказалась простой: почти на всех учебных фотографиях волков позади лежал снег. Программа выучила не волка, а снег.

Найти причину удалось только после подробного разбора. Обучение на миллионах примеров идёт автоматически, и внутренние настройки меняются так сильно, что даже создатели плохо понимают, на что смотрит готовая система. Это называют проблемой чёрного ящика.

Та же ловушка работает и с людьми. Одна компания поручила ИИ отбирать кандидатов на собеседование, и он пропускал только мужчин. Его учили на прошлых решениях, а раньше на эту должность действительно предпочитали брать мужчин. Машина добросовестно продолжила прошлое, как курица Рассела. Так же в систему могут перейти предубеждения о цвете кожи или религии. Если данные не проверить на честность, наши привычки становятся её правилами.

Читайте также: Амфибия вернулась с суши в море. И это главный урок эволюции

Машина не знает, что ошиблась

Пример с птицами сильно упрощён: настоящие системы пропускают данные через множество слоёв и параметров. Подход «прозрачного ИИ», при котором можно заглянуть внутрь решения, пока только развивается и в реальных системах почти не применяется.

Есть и важнее. Ошибившись, ИИ не догадывается об ошибке и не жалеет о ней. У него нет понятия правильного и неправильного, есть только выученные закономерности. Следить за ним, поправлять его и решать, что допустимо, по-прежнему придётся людям.

Юм бы не удивился. Обученная машина похожа на зеркало прошлого: в нём отражаются и снег за спиной волка, и старые привычки отдела кадров. Опасна не машина, которая восстанет, а машина, которая с полной уверенностью повторит то, что мы когда-то сделали по ошибке. Когда перед вами уверенный вывод, машинный или человеческий, полезно спросить: это настоящая закономерность или просто снег на фоне?

Ещё в «Высоких технологиях»

Едва заметная рябь стала галактиками: модель Lumina показала, как1200 ИИ-агентов сговорились без командира. Так устроен любой ройЛуна падает на Землю, как яблоко. Просто всё время промахивается

Все материалы раздела →