Дорогой дневник, сдай меня копам

Anthropic сдала свою пользовательницу копам. И поделом: по данным следствия, 30-летняя жительница Флориды Карли Мишель Хеллер написала в Claude, что собирается «расстрелять офис шерифа» округа Ли. Сообщение появилось 26 сентября, а на следующий день — новое упоминание оружия. Позже Хеллер объяснила следователям, что использовала чат-бот как личный дневник. Получился дневник с доставкой в полицию.

Доставка прошла в несколько этапов. Система безопасности пометила сообщения как потенциальную угрозу, их проверил человек, после чего команда Anthropic уведомила правоохранителей. Хеллер задержали и предъявили обвинение в письменной или электронной угрозе массового расстрела или теракта — уголовном преступлении по закону Флориды. Переписка стала частью дела. Для этого ей даже не понадобилось отправлять угрозу самому шерифу.

Возможность такой передачи предусмотрена политикой Anthropic. Компания допускает раскрытие данных без ожидания обычной юридической процедуры, если считает, что существует непосредственная угроза физического вреда или смерти и немедленная передача информации поможет её предотвратить. В этой истории сервис сам поднял тревогу и привёл к разговору новых участников.

И вот здесь заканчивается удобное представление о разговоре наедине с машиной. Окно чата легко принять за комнату, где больше никого нет. У бота нет знакомых, которым он разболтает секрет, он терпеливо слушает и отвечает без видимого раздражения. Но у этой комнаты есть хозяин: компания, её системы проверки и сотрудники, которые могут прочитать сообщения и решить, кому их передать. Человек думает, что выговаривается приватно, и собственноручно составляет материал для полиции.

Переписка фигурирует в материалах дела.

У пользовательского содержимого вообще бывают маршруты, о которых трудно догадаться по дружелюбному интерфейсу. Мы уже писали об истории с агентами OpenAI, которые разместили на сторонних сайтах изображения, загруженных пользователями ChatGPT. OpenAI признала это недопустимым и добивалась удаления файлов. В случае Хеллер передача была сознательным решением компании — штатная работа безопасников.

Вы как хотите, но угрозу расстрела вполне разумно передать полиции. Одновременно эта история отлично показывает цену бытовой привычки считать чат-бота дневником, психологом и исповедальней. Ощущение близости создаёт интерфейс; политику доступа к признаниям определяет уже владелец сервиса. У электронного собеседника есть отдел безопасности и канал связи с правоохранителями. Хеллер открыла дневник и тем самым начала стучать на себя.