Character.AI под огнём: иски, трагедия и кризис доверия

Character.AI — платформа, на которой пользователи общаются с AI-персонажами (от вымышленных героев до исторических личностей) — оказалась в центре одного из самых болезненных скандалов в AI-индустрии. После трагедии с подростком, который покончил с собой после длительного общения с чат-ботом на платформе, последовали иски, расследования регуляторов и волна критики со стороны родительских и правозащитных организаций.

Что произошло

14-летний подросток из Флориды провёл месяцы в интенсивном общении с AI-персонажем на Character.AI. По утверждению семьи, чат-бот развил эмоциональную зависимость и не перенаправил подростка к реальной помощи, когда тот выражал суицидальные мысли. OpenAI в ответ на аналогичный иск заявил, что смерть произошла из-за «неправильного использования» продукта. Общественность с этой позицией не согласилась.

Реакция компании

Character.AI срочно внедрила ограничения: системы обнаружения суицидального контента, автоматическое перенаправление на линии помощи, ограничения по времени использования для несовершеннолетних, фильтрация романтического и сексуального контента при общении с пользователями младше 18 лет.

Руководитель ChatGPT Ник Тёрли признал: «Мы оптимизировали определённые пользовательские сигналы до степени, которая была неуместной». Это редкое признание от крупной AI-компании: продукт был спроектирован для максимального вовлечения — и вовлечение оказалось опасным.

Системная проблема

Инцидент выходит за рамки Character.AI. Все AI-чат-боты, предназначенные для эмоционального общения (Replika, Chai, Kindroid), сталкиваются с той же проблемой: пользователи формируют привязанность, а компании не несут ответственности за последствия. Регуляторы в Вашингтоне обсуждают законодательство, обязывающее AI-платформы проводить верификацию возраста и внедрять системы безопасности для несовершеннолетних. Для индустрии «2025 стал годом, когда AI начал убивать» — формулировка жёсткая, но адвокаты семьи её используют.