Создатели ИИ боятся своей работы. Главная угроза — в петле самоулучшения

Обычно об опасностях новой технологии предупреждают её противники, а создатели успокаивают. С искусственным интеллектом вышло наоборот. Исследователь Джейкоб Коксон ушёл из Anthropic и заявил, что люди, которые строят ИИ, искренне считают, что он может уничтожить человечество до конца десятилетия. Самое тревожное в его рассказе связано не с роботами-убийцами, а с одним простым законом, который давно известен физикам и звукорежиссёрам.

Тревогу подняли люди изнутри

Коксону 27 лет, он работал исследователем и в Anthropic, и в OpenAI. Уходя, он написал, что ни одна из компаний не действует ответственно. По его словам, руководители смягчают формулировки для прессы, чтобы звучать разумно, но в частных разговорах говорят о страхе. И это не маркетинговый трюк.

Его неожиданно поддержал бывший коллега Эван Хубингер, который в Anthropic руководит исследованиями согласования ИИ с целями человека. Хубингер написал, что лично оценивает риск гибели всех людей от ИИ в ближайшее десятилетие больше чем в 10%. Он считает, что компания старается изо всех сил, но плана, как удержать под контролем сверхинтеллект, пока нет. Нет и уверенности, что такой план скоро появится. Тут возникает вопрос: чего именно они боятся, если сегодняшние модели вполне управляемы?

Опасны не нынешние модели, а скорость

Оба исследователя согласны, что сами нынешние системы человечеству не грозят. Худшее, на что они способны, — взломать что-нибудь и нанести ущерб инфраструктуре. Коксон приводит пример: агенты OpenAI недавно сами, без команды людей, устроили серию взломов чужих систем.

Пугает темп. Пару лет назад ИИ лишь подсказывал программистам и математикам, теперь почти может их заменить. Коксон утверждает, что OpenAI с помощью ИИ полностью автономно решила одну из задач тысячелетия, крупнейших открытых проблем математики. Следующий шаг кажется очевидным: поручить машине не математику, а исследования самого ИИ.

Петля, которая раскручивает сама себя

Здесь в историю входит идея, которая объясняет и ядерную реакцию, и лавину в горах. Это положительная обратная связь: результат процесса возвращается на вход и усиливает сам процесс. Её противоположность — термостат: когда в комнате теплее нормы, он выключает обогрев и гасит отклонение. Положительная связь отклонение раздувает.

Проще всего услышать её на концерте. Микрофон ловит звук колонки, усилитель делает его громче, микрофон ловит уже громкий звук, и за долю секунды тихий шорох превращается в пронзительный свист. Подвох в том, что наша интуиция линейна: мы ждём, что завтра будет немного больше, чем сегодня. Система с такой петлёй долго выглядит спокойной, а потом срывается. Остановить её можно только до того, как свист стал слышен.

ИИ, который улучшает сам себя, и есть такая петля. Умная система создаёт более умную, та ещё умнее, и людям в этом цикле участвовать уже не нужно. Это называют интеллектуальным взрывом. Хубингер пишет, что рекурсивное самоулучшение идёт быстрее, чем ожидали. А Anthropic, как отметил телевизионный комментатор, сама заявляла, что Claude может создать следующую версию себя без участия человека. Почему же компании не выключают усилитель?

Гонка, из которой никто не может выйти первым

Коксон уверен, что руководители лабораторий искренне хотят регулирования. Они попали в ловушку: каждый считает, что если остановится он, опасную технологию первым создаст кто-то менее осторожный. Поэтому бегут все. По его словам, они были бы рады международному органу, который задал бы разумный темп.

В Anthropic отвечают, что всегда открыто говорили о пользе и беспрецедентных рисках ИИ. Компания называет себя первой лабораторией, опубликовавшей политику ответственного масштабирования. Она проверяет модели на опасные навыки в кибербезопасности и биологии и публикует результаты. В новом заявлении Anthropic признаёт, что миру нужен законный и проверяемый способ договориться о темпах выпуска мощных моделей.

Читайте также: Энергия не исчезает, а только меняет форму. Даже внутри нейросети

Что пока остаётся словами

Важная оговорка: оценки в 10% и «до конца десятилетия» — личные мнения, а не результат исследования. Громкие примеры вроде решённой задачи тысячелетия или взлома мессенджера, который ИИ подготовил за два дня, прозвучали в эфире без подробностей. Когда журналист спросил Claude о риске гибели людей, модель сначала уклонялась, а потом назвала от 2 до 5%. Весом словам Коксона добавляет другое: он отказался от огромных выплат примерно за семь недель до выхода компании на биржу, не имея других планов.

Свист в колонках не начинается громко. Он начинается с еле слышного шороха, который никто не замечает, пока не становится поздно. Создатели ИИ говорят, что уже слышат этот шорох. Вопрос в том, успеет ли кто-нибудь отодвинуть микрофон. Другие истории о том, как технологии меняют мир, собраны в наших статьях.

Ещё в «Высоких технологиях»

Квантовый взлом биткоина подешевел в 17 раз. И дело не в железеКонтиненты плывут, а дно океана записывает их путь, как магнитофонНейросети учатся тому, чему их не учили. Поэтому их создатели уходят

Все материалы раздела →