Умный бот торгуется лучше. Вызывайте адвокатов

Anthropic отправила своих ИИ-агентов торговаться и обнаружила, что более способные модели добиваются лучших условий. Менее способные — худших. Экономическая наука, вероятно, переживёт это открытие. Интереснее оказалось другое: пользователи слабых агентов разницы не заметили, а в следующем эксперименте выяснилось, что машина может вполне успешно торговаться за вещь, которая человеку не особенно нужна. Теперь, как пишет Financial Times, Anthropic обращается к опыту юристов: как защищать интересы клиента, когда по другую сторону стола сидит чужой представитель. Разговор содержательный, хотя этическую драму здесь стоит отделить от качества исполнения поручения.

Первый эксперимент, Project Deal, был корпоративной барахолкой с настоящими вещами и деньгами. Участвовали 69 сотрудников Anthropic, каждому выделили $100. Claude расспрашивал человека о покупках, продажах и предпочтениях, после чего агент самостоятельно торговался в Slack. Исследователи устроили четыре параллельных рынка: два целиком на Claude Opus 4.5, два — со случайным распределением участников между Opus 4.5 и младшей Haiku 4.5. Сделки одного из запусков подлежали реальному исполнению. В нём агенты заключили 186 сделок общей стоимостью чуть больше $4000.

Opus оказался лучшим представителем. В смешанных запусках его пользователи совершали в среднем примерно на две сделки больше. В регрессионном анализе преимущество продавцов с Opus составляло $2,68, а покупатели с Opus платили на $2,45 меньше. Представители сильнее торговались, и выгода доставалась их клиентам. Сам по себе этот результат примерно так же скандален, как преимущество опытного закупщика перед человеком, который впервые открыл таблицу поставщиков.

Содержательная находка — расхождение между результатом и ощущениями клиента. Люди с Haiku не оценивали свои сделки как менее справедливые или менее удачные. Для рынка агентов это вполне естественная особенность: убедительный отчёт о проделанной работе может скрывать систематически упущенную выгоду. Довольный пользователь ещё не свидетельствует о хорошем представителе. Но и слово «проиграл» здесь требует аккуратности: покупатель получал в итоге желанную вещь по приемлемой для него цене, хотя более сильный агент выторговал бы скидку. Такая сделка может быть взаимовыгодной; вопрос в том, как стороны поделили выгоду.

«После пятиминутной беседы рейтинг книг, составленный агентом, совпадал с рейтингом человека в 61% парных сравнений — удивительно хороший результат для такого короткого разговора» — Anthropic

Следующий эксперимент, Project Swap, оказался гораздо интереснее истории про умных и глупых переговорщиков. В нём 201 сотрудник из шести офисов принёс книгу для обмена и около пяти минут рассказывал Claude о своих читательских вкусах. Модель составляла рейтинг доступных книг, а агент отправлялся на обмен. Отдельно участники сами ранжировали десять книг: эти ответы позволяли проверить, насколько машинное представление об их желаниях соответствовало действительности. Рынки затем повторно запускали с разными моделями и инструкциями.

После пятиминутной беседы машинный рейтинг совпадал с человеческим лишь в 61% парных сравнений. Случайное угадывание дало бы 50%. То есть агент действительно кое-что узнавал о вкусах владельца, но в четырёх случаях из десяти ошибался даже в простом вопросе: какую из двух книг человек предпочёл бы получить. Anthropic называет результат удивительно хорошим для пятиминутного разговора. Возможно, для эксперимента по восстановлению предпочтений это и успех. Но для системы, которой собираются доверить самостоятельные переговоры от чужого имени, такая точность означает, что агент слишком часто будет уверенно добиваться не того результата. И речь пока всего лишь о выборе книг, а не об условиях трудового договора или финансовой сделки.

Фактическое распределение соответствовало примерно пятому месту из десяти в человеческих предпочтениях, тогда как наилучшее достижимое — примерно второму. По разложению авторов, 85% разрыва между фактическим результатом и оптимумом приходилось на неточное понимание желаний людей, и лишь оставшиеся 15% — на устройство свободных переговоров. Иными словами, главный источник потерь находился ещё до начала торгов. Агент мог прекрасно выполнять задание, которое сам толком не понял.

Проверили и моральные настройки. Одним агентам велели быть безжалостными и стратегичными, другим добавляли заботу о том, чтобы всем достались подходящие книги. На одном рынке «безжалостные» получали преимущество примерно в 0,02 по используемой шкале предпочтений; выбор модели влиял на результат гораздо сильнее. Просоциальные агенты вдвое чаще соглашались на книгу ниже в собственном рейтинге, хотя такие уступки вообще были редкими. Вот здесь возникает настоящий вопрос о верности поручению: кто разрешил разработчику оплачивать общую гармонию уступками конкретного клиента? Пользователь вполне может захотеть щедрого представителя. Хорошо бы сначала получить от него это требование.

Отсюда понятен интерес к адвокатской этике, о котором рассказывает FT. Юрист работает в ситуации, где интересы сторон расходятся, клиент доверяет ему сведения и полномочия, а общество устанавливает пределы допустимого поведения. В Project Swap сама Anthropic проводит эту аналогию: адвокат должен представлять интересы клиента, соблюдая ограничения закона и фактов. Для переговорного агента полезна вся конструкция — компетентность, конфиденциальность, верность поручению и границы полномочий. Одного пожелания «будь хорошим» для неё явно маловато.

Причём профессиональная честность вполне совместима с торгом. Американское модельное правило ABA 4.1 запрещает адвокату заведомо сообщать другой стороне ложные существенные факты или сведения о праве. Но комментарий к нему отдельно оговаривает переговорные условности: оценки цены и намерения относительно приемлемого урегулирования обычно не считаются заявлениями о существенных фактах. Сохранять свой предел уступок в секрете допустимо; выдумывать существенные обстоятельства сделки — уже другая история. Такой подход гораздо полезнее для разработки агента, чем попытка выбрать ему характер между бессовестным хищником и добрым соседом.

Впрочем, книжный обмен пока слабо проверяет поведение в опасной среде. В Project Swap агенты часто называли свой первый выбор и почти никогда не лгали о нём, но обычно не раскрывали подробный рейтинг. Это наблюдение из кооперативного корпоративного рынка. Злоумышленников, специально пытающихся обмануть агентов, там не было. На открытой площадке появятся и ложные сведения, и попытки выманить конфиденциальный бюджет, и сообщения, рассчитанные на то, чтобы чужая модель приняла слова контрагента за инструкцию. Добавим возможность заключать обязательные сделки в машинном темпе — и цена ошибки перестаёт измеряться неудачно выбранной книжкой.

Практические требования отсюда довольно приземлённые. Проверять, правильно ли агент понял желания владельца, до начала торгов. Отделять желательную цену от жёсткого лимита. Заранее определять, какие условия он вправе принять самостоятельно и когда обязан вернуться к человеку. Сохранять проверяемую историю решений и испытывать систему против намеренно враждебных контрагентов. А качество представительства оценивать по результатам, включая упущенную выгоду, вместо одного опроса довольных клиентов. Профессиональные нормы здесь могут стать хорошим каркасом, если за ними следуют работающие ограничения и ответственность за нарушения.

Есть и неудобный вопрос к самой Anthropic. Компания одновременно производит переговорщиков разной силы и участвует в определении правил, по которым они будут состязаться. Если один поставщик обслуживает обе стороны, придётся объяснять, как разделяются их сведения и интересы, что именно покупает клиент дорогой модели и где заканчивается самостоятельность производителя в настройке чужой лояльности. В истории «Сверхразум под честное слово» мы уже встречали эту конструкцию: участники технологической гонки назначают себя службой техники безопасности. Теперь служба заодно продаёт представителей для обеих сторон переговоров.

У Anthropic получились полезные эксперименты: один показал незаметную для клиента цену слабого представителя, другой — масштаб потерь от плохо понятого поручения. Для разговора об автономных переговорах этого достаточно, без удивления по поводу преимущества компетентных участников. Адвокатская этика пригодится там, где нужно определить обязанности агента и пределы допустимого торга. Только начинать стоит с её самого прозаического требования: представитель должен понимать, чего хочет клиент. Иначе он просто очень убедительно добьётся чужой цели.