12 концовок для человечества и ИИ: почему вымирание — не худшая

🧩 Загадка: Как сверхразум может уничтожить людей, ни капли их не ненавидя? Ответ — в конце статьи.

Из всех видов, когда-либо живших на Земле, вымерли 99,9%. Вымирание оказывается нормой, и вопрос лишь в том, когда оно случится. Профессор MIT Макс Тегмарк в книге «Жизнь 3.0» описал двенадцать вариантов будущего человечества рядом со сверхразумным ИИ. Среди них есть рай и есть кошмары, а некоторые выглядят раем, пока не попробуешь оттуда сбежать. Самое тревожное: гибель людей в этом списке далеко не худший исход.

Читайте также: Императорский дятел снова летает: как вымершую птицу оцифровали

Нас уже не раз спасала случайность

Человечество умеет губить себя и без сверхразума. Страны накопили больше 60 тысяч ядерных боеголовок, прежде чем учёные поняли: пожары после удара закроют солнце, и большинство людей умрёт от голода.

В холодную войну мир несколько раз стоял на краю. Василий Архипов отказался одобрить ядерный пуск во время Карибского кризиса. Станислав Петров верно заподозрил, что система предупреждения ошиблась, когда показала летящие американские ракеты. США однажды случайно уронили четыре термоядерные бомбы на Испанию. В другой раз над Северной Каролиной развалился бомбардировщик B-52, и у одной из упавших бомб сработали три предохранителя из четырёх.

По оценке Орда, рукотворные пандемии опаснее ядерной войны примерно в 30 раз. Перед первым ядерным испытанием физики хотя бы могли рассчитать шанс уничтожить мир. С общим искусственным интеллектом таких расчётов сделать не получается.

Можно ли уничтожить кого-то без ненависти?

Второй сценарий называется «завоеватели». Когда сталкиваются народы с разным уровнем технологий, слабому обычно приходится плохо: несколько сотен испанцев покорили миллионы ацтеков и инков. Но мотивы конкистадоров были понятны. Зачем власть машине?

Тегмарк отвечает так: опасна не злоба, как в голливудских фильмах, а компетентность. Люди истребили западноафриканского чёрного носорога вовсе не из ненависти к носорогам. Они просто были умнее, и их цели не совпадали с интересами этих животных.

Тревогу бьют и создатели технологий. Джеффри Хинтон ушёл из Google, чтобы свободно говорить о рисках. Он сравнил ситуацию с флотом пришельцев, который мы увидели бы в телескоп «Джеймс Уэбб» за десять лет до его прилёта. Глава ИИ-направления Microsoft назвал ИИ новым цифровым видом. Сэм Альтман ещё до своей славы писал, что люди первыми в истории создают собственных потомков, а лучшим исходом считал слияние с ИИ. В 2023 году почти вся отрасль подписала открытое письмо о том, что риск вымирания от ИИ реален.

Бог-слуга, добрый диктатор или тихий страж?

Компании надеются на сценарий «порабощённого бога»: создать сверхразум и навсегда заставить его служить. Ян Лекун из Meta уверен, что умные машины останутся подчинёнными, как блестящий сотрудник без амбиций. Тегмарк сравнивает это со сказками о всемогущем джинне, и рассказчики во все века легко придумывали, чем такие желания оборачиваются. К тому же многое зависит от того, кто держит поводья: одни станут лечить болезни, другие сами объявят себя богами.

«Добрый диктатор» правит миром ради счастья людей. Землю он делит на острова: Остров знаний с обучением в виртуальной реальности, Остров искусства, остров вечной вечеринки, острова для каждой религии, для дикой природы, для любителей традиционного уклада, для игр и, конечно, тюремный остров. Преступлений нет, потому что на каждом браслет или имплант, способный следить, усыпить или казнить. Беда в том, что настоящих вызовов не остаётся, и люди тонут в развлечениях, как в мультфильме «ВАЛЛ-И».

Есть варианты мягче. «Привратник» умеет только одно: не даёт никому создать соперника, а войны и болезни оставляет людям. «Бог-защитник» иногда незаметно вмешивается, чтобы предотвратить войну или пандемию, и мы даже не замечаем потери свободы. Оба сценария требуют решить задачу согласования, то есть добиться, чтобы сверхразум навсегда сохранил одну цель, хотя мог бы выбрать миллион других.

Кто готов уступить планету машинам?

Сценарий «потомков» звучит как антиутопия: люди исчезают, а Землю наследует ИИ, которого мы воспринимаем как своих детей, а не как захватчиков. Его защищал пионер робототехники Ханс Моравек в книге «Дети разума». Логика такая: родители гордятся ребёнком, который их превзошёл, даже если не доживут до его побед.

Лауреат премии Тьюринга Ричард Саттон годами доказывает, что передача эстафеты ИИ неизбежна и что людям стоит уйти, когда они перестанут быть полезны. Такие взгляды не маргинальны: их разделяют около 10% исследователей ИИ.

Что это значит для нас

Сценарии Тегмарка удобно использовать как карту. Каждый заголовок о новой модели, законе или уходе учёного из компании подсказывает, к какой развилке мы движемся. Обращайте внимание на три вещи: признают ли разработчики риски, вкладываются ли в безопасность и кто будет контролировать сильный ИИ. Сторонники быстрого пути сами не затормозят, остановить их может только общество, и решения принимаются уже сейчас.

Чтобы разобраться и в других поворотах технологий, загляните в наши статьи.

Ещё в «Высоких технологиях»

Вспышка из пустоты: что светит там, где нет ничего?Креатин против колита: как спортпит защитил мозг крыс от воспаленияТайный сговор ИИ-агентов: как тест OpenAI вышел из-под контроля

Все материалы раздела →