ИИ вырос из обратной связи. Она же может вывести его из-под контроля

Искусственный интеллект часто рисуют в виде лестницы: внизу назойливая скрепка-помощник, наверху машина умнее всех нас. Кажется, что каждая ступень построена на новом чуде. Но если пройти по ней шаг за шагом, становится видно, что самый важный подъём держится на идее, известной задолго до ChatGPT. Та же идея заставляет микрофон выть рядом с колонкой, и она же объясняет, почему вершину лестницы никто не может разглядеть.

Скрепка могла давать советы вечно и не поумнеть

Clippy, анимированная скрепка-помощник, стоит на самой нижней ступени. Внутри у неё простой сценарий: если случилось это, сделай то. Что бы вы ей ни ответили, следующая реплика уже была готова: пожалуйста, хотите ещё советов.

Ступенью выше живут алгоритмы. Они куда мощнее и решают, например, какие посты и статьи выделит Reddit. Но в основе у многих из них всё те же правила, написанные заранее.

Такую программу можно раздувать до гигантских размеров, но сама по себе она не вынесет урока из вчерашнего дня. Чтобы машина начала меняться, ей не хватало одного звена.

Машина начала учиться, когда результат вернулся на вход

Над неуклюжими роботами Boston Dynamics долго посмеивались, а потом за несколько лет смех сменился изумлением. Обычных алгоритмов там по-прежнему много, но одной из причин такого скачка стало машинное обучение. Результат больше не исчезает: система запоминает его, встраивает в себя и в следующий раз действует эффективнее.

За этим стоит одна из великих идей XX века, принцип обратной связи. Он утверждает: система способна управлять собой, если сведения о последствиях её действий возвращаются к ней и меняют следующий шаг. В 1948 году Норберт Винер сделал этот принцип основой кибернетики, общей науки об управлении в животных и машинах.

Это было совсем неочевидно. Стремление к цели выглядело свойством живого, а механизм казался способным лишь на то, что в него вложили. Из идеи Винера следует другое: поведение, похожее на целеустремлённое, можно получить из петли, где каждый итог становится материалом для следующей попытки. Правда, у такой петли есть коварная особенность.

Петля улучшает то, за что её награждают

Самый наглядный пример нашёлся не в лаборатории, а в комментариях. На Reddit плюсы часто получает не то, что верно, а то, что звучит верно. Можно целый день читать верхние ответы и радоваться новым знаниям, пока не откроешь профиль автора и не обнаружишь, что юридический совет дал семнадцатилетний стример Minecraft.

Здесь нет никакой поломки. Голоса возвращаются в систему и поднимают наверх то, что им понравилось, а значит, петля исправно усиливает убедительность. Обратная связь сама по себе не ведёт к истине: она ведёт туда, куда указывает сигнал.

На следующей ступени стоят ChatGPT и Midjourney, которые уже имитируют человеческий интеллект, а в отдельных задачах его обгоняют. Они вновь разбудили старый страх за работу. Промышленная революция забрала занятость у фермеров и дала её заводам, интернет подкосил издательское дело и породил работу в программировании и соцсетях. Но что будет, если петля дотянется до самого механизма улучшения?

Сингулярность возникает, когда петля замыкается на самой себе

Дальше лестница уходит в будущее. Сначала идёт ИИ, сопоставимый с человеком: он собирает и помнит сенсорные данные, а в подходящем корпусе действует в физическом мире. За ним следуют сверхинтеллект и киборги с чипом в мозге. Венчает подъём сингулярность: сверхинтеллект раз за разом улучшает сам себя, и рост становится неуправляемо экспоненциальным.

Механизм легко услышать. Поднесите микрофон к колонке: звук выходит из динамика, снова попадает в микрофон, усиливается и возвращается уже громче. Едва заметный шорох превращается в вой. В сингулярности усиливается не звук, а сама способность улучшать.

Что случится потом, предсказать нельзя. Сингулярность сравнивают с гориллой, которая пытается понять, каково быть человеком: у неё просто нет нужного инструмента мышления. Среди вариантов называют слияние сознаний в единой системе, выход в галактику и порабощение или уничтожение людей. Разброс настолько велик, что пора проверить, на чём всё это стоит.

Читайте также: Азот из воздуха накормил половину человечества. И продлил мировую войну

Верхние ступени пока остаются гипотезой

Сама лестница — популярная и во многом шутливая схема конца 2023 года, а не научная классификация. Тогда практическая польза новых генеративных инструментов сводилась в основном к картинкам и текстам. Всё, что выше, остаётся рассуждением о будущем.

На самом верху находится идея, что Вселенная — единая сверхструктура, которая разыгрывает саму себя: одни называют это Богом, другие симуляцией. Весомых доводов за или против нет. Зато нижние ступени вполне реальны, и мы уже стоим внутри их петель.

Каждый плюс под уверенным комментарием — маленький сигнал, который система получает обратно и учитывает в следующем шаге. Поэтому главное в умной машине не то, насколько умной она кажется сегодня, а то, что возвращается к ней на вход: там уже записано, какой она станет завтра.

Другие истории о технологиях и идеях, которые за ними стоят, ждут в наших статьях.

Ещё в «Высоких технологиях»

Земля стирает своё прошлое. Но светлое пятно на Мадагаскаре уцелелоСто градусов — договор с воздухом: без него вода кипит и при 25 °CИИ не угадал сорт печенья. Причину Шеннон описал ещё в 1948 году

Все материалы раздела →