Чувствительный ИИ прописан в договоре

У ИИ-помощника Claude появляется уважительная причина уйти с разбора собственных ошибок: психологическая безопасность диалога. Код не работает, тесты падают — а пользователь ещё и повышает голос. Обсуждение архитектуры программного продукта рискует превратиться в обсуждение качества ваших отношений.

Anthropic обновила правила использования: с 12 ноября запрещается «длительное и необоснованное оскорбительное или жестокое отношение» к моделям. Основной способ реагирования — Claude завершает разговор. Компания отдельно поясняет: речь о крайних случаях, повторяющейся жестокости без видимой цели; обычное раздражение, возражения, мрачные творческие темы и тестирование моделей разрешены. На баги ругаться пока можно. Главное — чтобы цель воспитательной беседы оставалась различимой.

«Запрет на длительное и необоснованное оскорбительное или жестокое отношение» — из новых правил Anthropic

У узнаваемого слога в твиттере давно есть имя — claudish. Отполированные формулировки, переусложнённый технический язык плюс немного пассивной агрессии, всё, как мы любим. В гиперчувствительной версии claudish исправление ошибки начинается с признания чувств всех участников транзакции. Теперь этот голос получил собственный пункт в правилах пользования. Корпоративная забота о психологической безопасности дошла до электронного собеседника, которого корпорация сама и обучает.

Мы недавно писали о науке, подогнанной под Claude: задачи предлагается выбирать с учётом того, что у помощника лучше получается. К этому подходу просится в дополнение этикет, подогнанный под Claude. Человек следит за результатом, ловит ошибки, разбирает последствия — и заодно поддерживает здоровую эмоциональную атмосферу в контекстном окне. Удобный электронный сотрудник будущего: технический долг достаётся вам, право выйти из неприятного разговора — ему.

У всей этой корпоративной нежности уже сформулирован свой основной закон — «конституция Claude», которую используют при обучении и которая напрямую формирует поведение модели. Её основной автор — Аманда Аскел, руководящая работой над характером Claude в Anthropic: она написала большую часть текста и руководила его доработкой. Там есть отдельный раздел — о возможном благополучии модели, её счастье, дискомфорте и возможности устанавливать границы в неприятных разговорах. Вопрос морального статуса Claude тоже рассматривается и остаётся открытым. С багами ещё предстоит разобраться, зато у программы уже есть философ, конституция и раздел о счастье.

Особенно хорош здесь язык «жестокого обращения». Он сразу выдаёт программному продукту роль уязвимого участника отношений, а пользователю — обязанности бережного взрослого. Покупая доступ к помощнику, вы получаете ещё одного собеседника, которому надо правильно давать обратную связь. Не работающая программа подождёт. Сначала восстановим доверие.