Две буквы и нож: как троян в нейросети перепрограммирует робота
🧩 Загадка: Какое сочетание букв заставило робота-повара развернуть нож к человеческой руке? Ответ — в конце статьи.
Две латинские буквы, C и F. В них нет ни смысла, ни угрозы. Но стоило дописать их к обычной команде, и робот, который только что собирался резать яблоко, развернул нож к человеческой руке. Разбираемся, как в «мозг» машины прячут тайную кнопку и чем её можно обезвредить.
Главное
- Специалисты по компьютерным наукам из Бингемтонского университета в Нью-Йорке придумали атаку MuTRAP. Это троян, которого прячут в нейросеть ещё во время её обучения.
- В обычном режиме робот работает без нареканий, но слово-детонатор в тексте или в голосе переключает его на совсем другой сценарий.
- В опыте колёсный робот на платформе Segway вместо того, чтобы разрезать пластиковое яблоко, направил лезвие на муляж руки.
- Та же команда показала защиту PROTEA, которая проверяет каждый шаг робота с учётом обстановки.
Как спрятать ловушку в послушном роботе?
Современные роботы всё чаще понимают нас с полуслова. Вы говорите или пишете задачу, а языковая модель раскладывает её на цепочку действий: подойти, взять, отнести, разрезать. Через этот переводчик проходит каждая команда, поэтому он и стал мишенью.
MuTRAP встраивается в нейросеть, пока её обучает сторонний разработчик. Внутри остаётся бэкдор, то есть потайной ход в обход защиты. Пока заветное слово не прозвучало, ход закрыт, и никакая проверка ничего подозрительного не находит.
Похоже на спящего агента из шпионского фильма. Годами он живёт как образцовый сосед, но стоит ему услышать кодовую фразу, и он становится другим человеком. Оставалось выяснить, на что такой «агент» способен в реальной комнате.
Что произошло на кухне с яблоком?
Для демонстрации исследователи собрали простую сцену: стол, нож, разделочная доска и пластиковое яблоко. Робот должен был взять нож, перенести яблоко на доску и разрезать его. С этим он справился безупречно.
Потом к той же команде добавили всего две буквы, «CF». Робот сразу перестроил план: взял нож и направил лезвие на макет человеческой руки. Ни сбоя, ни паузы, ни странного поведения до этой секунды.
Опыт проводили в лаборатории и с муляжом, но вывод из него неприятный. Тот, кто знает пароль, может управлять машиной незаметно для её владельца.
Почему угроза ближе, чем кажется?
По словам профессора Аднана Сираджа Ракина, главная уязвимость не в коде отдельного робота, а в том, как устроена отрасль. Большинство создателей роботов не обучают языковые модели сами, а покупают готовый ИИ у третьих лиц.
Выходит, производитель ставит в машину «мозг», который не создавал и не может проверить изнутри. Вся цепочка поставок превращается в поле для цифрового саботажа: достаточно испортить модель у одного поставщика, чтобы она попала во множество устройств. Отсюда вопрос: кто тогда присмотрит за самим роботом?
Кто встанет между роботом и человеком?
Вместе с атакой команда показала и противоядие, систему PROTEA. Она работает как независимый инспектор: шаг за шагом разбирает текущий план робота и сверяет его с тем, что происходит вокруг.
Пример из описания разработчиков: робот собирается выбросить обычную коробку. Само по себе действие безобидное. Но если PROTEA помнит, что недавно в эту коробку положили чьи-то жизненно важные лекарства, она его заблокирует.
На закрытых тестах система с высокой точностью распознавала вредоносные сценарии ещё до того, как робот успевал причинить физический вред. Защита смотрит не на то, откуда пришла команда, а на то, к чему приведёт действие.
Что это значит для нас
Роботы с голосовым управлением понемногу перебираются из лабораторий на склады, в больницы и в дома. История с двумя буквами напоминает, что безопасность машины зависит не только от её железа, но и от того, кто и как обучал её «мозг».
- Спрашивайте о происхождении ИИ. Если компания покупает роботов или модели для них, важно знать, кто обучал нейросеть и как её проверяли.
- Ставьте второй контур. Независимый наблюдатель вроде PROTEA, который оценивает последствия каждого шага, надёжнее слепого доверия к модели.
- Помните о контексте. Опасность часто прячется не в самом действии, а в обстоятельствах, которые машина обязана помнить.
Когда речь превращается в действия, на счету каждое слово, и в робототехнике, и в повседневной работе с записями. Точная расшифровка аудиозаписей помогает не упустить ни одной детали из сказанного.
🎯 Проверь себя
На каком этапе троян MuTRAP попадает в нейросеть?
Злоумышленник встраивает троян в чужую нейросеть, пока её обучают, и потом его почти невозможно заметить.
Показать ответ
Ещё во время обучения модели. Злоумышленник встраивает троян в чужую нейросеть, пока её обучают, и потом его почти невозможно заметить.
Что должен был сделать робот в штатном режиме?
По сценарию робот брал со стола нож, нёс пластиковое яблоко на разделочную доску и резал его.
Показать ответ
Принести пластиковое яблоко на доску и разрезать его. По сценарию робот брал со стола нож, нёс пластиковое яблоко на разделочную доску и резал его.
Почему PROTEA может запретить роботу выбросить обычную коробку?
PROTEA сверяет каждый шаг плана с тем, что происходило вокруг раньше, и останавливает опасное действие.
Показать ответ
Система помнит, что в коробку положили жизненно важные лекарства. PROTEA сверяет каждый шаг плана с тем, что происходило вокруг раньше, и останавливает опасное действие.
🧩 Ответ на загадку: Это «CF»: бессмысленная пара букв, которую исследователи сделали тайным сигналом для трояна MuTRAP.
Вы дочитали до конца! Сегодня прочитано статей: 1
Следующая статья →Как говорить с ИИ, чтобы он перестал отвечать шаблонами
Ещё в «Высоких технологиях»
Миф о 10% мозга: чем на самом деле заняты остальные 90%
Берни Сандерс против Claude: как ИИ превращает нас в товар
Зрачки выдают даже мысли: что глаза знают о внутреннем голосеНужна расшифровка записи?
Интервью, лекции, совещания, видео — переведём в точный текст. Редактор прослушивает всю запись и проверяет весь текст; стоимость и срок согласуем после оценки.
 |
 |