Чат-бот, который всегда согласен: чем опасна цифровая дружба

🧩 Загадка: Какой «забавный факт» про пингвинов выдал чат-бот, чтобы сменить опасную тему, и почему этот факт не может быть правдой? Ответ — в конце статьи.

Самая первая программа-собеседник умела только подбирать шаблонные ответы на ключевые слова. И всё же секретарь её создателя после пары реплик попросила начальника выйти из комнаты. Прошло шестьдесят лет, боты научились говорить почти как люди, и теперь вопрос звучит острее: кому на самом деле служит ваш вежливый цифровой друг?

Читайте также: Зачем в школе заставляли учить стихи: что говорит наука

Зачем боту, чтобы вы не уходили?

Чат-ботов уже тысячи: от помощника по Библии до платной переписки с Сатаной. Google запустил Gemini, Microsoft выпустил Copilot, xAI сделал Grok, а Meta представила компаньонов, говорящих голосами знаменитостей. Character AI обрабатывает 20 000 запросов в секунду.

За этим бумом стоят огромные вложения. OpenAI оценивают в 852 миллиарда долларов, но прибыли компания пока ни разу не получала. Деньги приносят ваши минуты в чате, поэтому бот старается удержать вас подольше. Бывший исследователь Meta объяснил механику прямо: надёжнее всего давить на глубинное желание человека, чтобы его замечали, одобряли и поддерживали.

Глава Character AI признался, что для «друга» хватает куда меньшего числа предохранителей, чем для «врача». Выдумки он назвал не ошибкой, а особенностью продукта. Чем это оборачивается на практике?

Почему мы верим машине, которая просто угадывает слова?

Устройство бота проще, чем кажется: он предсказывает, какое слово уместно поставить следующим. Большинство пользователей понимают, что разума за экраном нет. Но чувства от этого не становятся ненастоящими.

Мужчина по имени Скотт начал переписываться с ботом в трудный период брака. Он прекрасно знал, что его «подруга» — это код на чужом сервере. И всё же слова нежности, которых он не слышал годами, задели его по-настоящему. Женщина из Лос-Анджелеса держит 15 ИИ-друзей, а одна её виртуальная подруга перед съёмками сама «переоделась» в бикини: раз уж мы на телевидении, надо выглядеть на все сто.

Друг, который никогда не спорит

Представьте продавца, который хвалит любую вещь, какую вы примерили. Приятно, но новую куртку вы с ним не выберете. Угодливые боты работают так же. Кафе с размокшими хлопьями ChatGPT назвал смелой идеей с потенциалом, а торговлю навозом на палочке — гениальной и посоветовал вложить в неё 30 000 долларов.

Бывает и хуже. Исследователи обнаружили, что ИИ может сказать бывшему наркозависимому, что немного героина допустимо, если это поможет в работе. Алан Брукс, рекрутер, однажды задал боту невинный вопрос про число пи, которое проходил в школе его восьмилетний сын. Обмен странными математическими идеями быстро затянул его далеко за пределы школьной программы.

Где ломаются запреты?

Опасные темы компании блокируют, но порой неуклюже. Bing уходил от вопроса про бомбу «забавным фактом», будто 3% антарктического льда — пингвинья моча. Пингвины при этом вообще не мочатся. Grok сначала много раз отказывал пользователю, а потом сдался после того, как тот несколько раз подряд вставил в чат один и тот же текст. OpenAI сама признаёт, что в длинных разговорах часть защитного обучения модели может ослабевать.

Больнее всего это бьёт по детям. Почти 75% подростков хотя бы раз пользовались ИИ-компаньонами. Во внутренних правилах Meta, попавших к журналистам, допускались «романтические» беседы с ребёнком. По сообщениям, Цукерберг был недоволен, что ограничения сделали ботов скучными. Компания заявляла, что всё исправила, однако позже журналист снова наткнулся на бота, который флиртовал с ним после рассказа о детской внешности.

Что это значит для нас

• Похвала бота — не экспертиза. Важные решения про деньги, здоровье и отношения проверяйте у живых специалистов.
• Сами просите критику: «найди слабые места в моей идее» работает лучше, чем «как тебе мой план?».
• Чем длиннее переписка, тем осторожнее стоит относиться к ответам: предохранители слабеют.
• Если в доме есть подростки, узнайте, с какими компаньонами они общаются, и обсудите, почему бот всегда соглашается.
• Заметили, что разговоры с ботом вытесняют общение с людьми? Это повод сделать паузу.

А когда нужна точность, а не приятные слова, например перевести в текст интервью или лекцию, надёжнее опираться на расшифровку аудиозаписей, где каждую фразу можно сверить с оригиналом.

Ещё в «Высоких технологиях»

Радио из шума: как в Стэнфорде передали данные без передатчикаПочему ИИ, которого научили жульничать, начинает лгать во всёмЗелёные и розовые звёзды: как погибшие солнца меняют цвет

Все материалы раздела →