Project Swap: что происходит, когда агенты торгуют от нашего имени?

Полный перевод исследования Anthropic на русский. Оригинал — по ссылке.

Read in PDF

Краткое содержание

• Чтобы увидеть, что работает, а что ломается, когда агентов отправляют на рынок, мы создали миниатюрный рынок из Claude — более контролируемое продолжение Project Deal, нашего первого эксперимента с агентами, взаимодействующими на рынке от имени людей. Сотрудники Anthropic из шести офисов принесли книгу, которую хотели отдать. Каждый участник коротко поговорил с Claude о том, что ему нравится читать, и отправил агента на базе Claude на открытую торговую площадку, чтобы предлагать, торговаться и заключать сделки с агентами других людей. Цель состояла в том, чтобы каждый ушёл домой с книгой для летнего чтения, которая ему понравится.
• Участники также ранжировали 10 книг на основе своих интересов, чтобы мы могли оценить, насколько хорошо их агент представлял их. После пятиминутного разговора ранжирование книг агентом совпадало с ранжированием его человека в 61% пар, что удивительно хорошо для столь короткой беседы.
• Оказавшись на торговой площадке, агенты хорошо торговали. Рынок не достиг цели главным образом из-за информации, которой агентам не хватало о своих участниках, а не из-за того, как они торговали.
• Затем мы повторно запускали каждую торговую площадку десятки раз, меняя используемые модели и инструкции агентов. Мы обнаружили, что модель, на которой работал агент, влияла на результаты его переговоров сильнее, чем инструкции, которые мы ему давали. Рынки с более сильными моделями были эффективнее.
• Большинству людей, прочитавших их книгу, она понравилась, и средний участник сказал, что доверил бы Claude потратить около трети своего годового бюджета на книги.

Почему мы это сделали

Жизнь полна сделок и обменов, которые улучшили бы положение всех, но так и не происходят. Часто это происходит просто потому, что требуется слишком много усилий, чтобы найти подходящего контрагента и вести переговоры до заключения сделки. Представьте пациента, который отказывается от лечения после того, как получает одно непосильное для него ценовое предложение, хотя существует другая клиника, где берут гораздо меньше, или больницу, предоставившую ему это ценовое предложение, которая снизила бы счёт, если бы её об этом попросили. Или подумайте о своей работе. Где-то может быть вакансия, которая подошла бы Вам лучше, у работодателя, который был бы рад Вас нанять. Но Вы можете не найти друг друга, потому что ни у кого из Вас нет времени постоянно искать. Есть и более мелкие, повседневные договорённости, которые остаются без внимания — обмен сменами на работе, совместные поездки на автомобиле или обмен обязанностями по забору детей из школы.

Могли бы эти сделки состояться в будущем, если бы у Вас был агент, работающий на Вас круглосуточно, общающийся с потенциальными контрагентами и прорабатывающий возможные условия?

Возможно — но это будущее зависит от множества вопросов, на которые у нас пока нет ответов. Если агент будет действовать от Вашего имени, как Вы узнаете, что он Вас понял? Кроме того, когда множество агентов встречаются, чтобы общаться друг с другом, какой-то торговой площадке или платформе приходится устанавливать правила взаимодействия. Кому разрешён доступ? Что происходит, когда сделка срывается?

По мере того как агентов всё чаще отправляют на реальные рынки, эти вопросы становятся всё более насущными. Поэтому этим летом мы создали небольшой контролируемый рынок, чтобы изучить эти вопросы: бартерную экономику с участием 201 сотрудника Anthropic и их агентов на базе Claude. Каждый принёс книгу, которую хотел отдать. Затем они поговорили со своим агентом на базе Claude о том, какую книгу они надеялись прочитать этим летом. Агенты встретились на цифровой «торговой площадке» и обменивались книгами, пока не вышло время. Каждый забрал домой книгу, которую его агент приобрёл для него (или почти каждый… подробнее об этом позже).

Эксперимент позволил нам заранее увидеть проблемы, которые ждут впереди. Всем, кто проектирует агентов для рынков, понадобится способ проверить, понимают ли агенты своих участников. Всем, кто проектирует рынки для агентов, понадобятся чёткие правила о том, какие агенты допускаются к участию, что происходит, когда сделка срывается, и какая часть рыночной активности видна участникам.

Как создать рынок

Существует два основных способа организовать рынок. На централизованном рынке все сообщают одной стороне, чего хотят, а эта сторона определяет сделки. На децентрализованном рынке люди находят друг друга и ведут переговоры напрямую. ИИ-агенты могли бы помочь в обоих типах.

Возьмём централизованный рынок. Если одна организация точно знает, чего хотят все, определение наилучших сделок становится лишь вопросом вычислений. Экономисты давно это понимают. На практике одна из проблем заключается в том, что точно сформулировать, чего Вы хотите, зачастую настолько утомительно, что затраченные усилия того не стоят. Например, управляющий кафе мог бы составить идеальное расписание для своих 20 сотрудников, если бы каждый человек точно указал, насколько ценна для него каждая отдельная смена по сравнению с любой другой — согласился бы он на две субботние утренние смены вместо одного пятничного закрытия, устроило бы его позднее закрытие при условии, что на следующее утро ему не нужно открывать заведение, и так далее. Если бы агенты искусственного интеллекта могли узнавать, чего хочет человек, из непринуждённого разговора, рынки, которые было бы слишком дорого организовывать централизованно, могли бы стать практичными.1

Но центральному рынку также нужен кто-то, кто будет им управлять — «расчётная палата», говоря экономическим языком. И участникам необходимо доверять этой организации свою информацию и её способность обеспечивать выполнение выбранных решений. Зачастую такой организации не существует или люди предпочитают не сообщать ей всё. Соискатель может не захотеть, чтобы центральный посредник по подбору знал, что он ищет работу — или что именно он ищет. Вместо этого он предпочёл бы конфиденциально обратиться к нескольким работодателям, сообщая каждому лишь то, что ему необходимо знать. В таких случаях рынок должен быть децентрализованным.

Здесь агенты искусственного интеллекта могли бы создать новые децентрализованные торговые площадки, сократив усилия, необходимые для поиска контрагентов и ведения переговоров. Мы уже знаем, что такая помощь ценна, поскольку люди платят за неё. Существуют наёмные агенты-люди, которые делают именно это: агенты по недвижимости, хедхантеры и даже свахи. Но поскольку поиск и переговоры занимают часы ограниченного внимания человека, их услуги дороги и доступны лишь тем, кто может себе их позволить. Напротив, внимание агента искусственного интеллекта гораздо менее ограничено. Если он также умеет хорошо торговаться, больше людей смогут иметь то, что есть у продавцов жилья и руководителей — агента, неустанно работающего от их имени.

Как проходил эксперимент

201 участник были распределены по шести местным группам в офисах Сан-Франциско, Нью-Йорка, Лондона, Сиэтла, округа Колумбия и Дублина. Размер этих групп варьировался от трёх участников в Дублине до 115 участников в Сан-Франциско. Принося извинения Джеймсу Джойсу, мы исключаем дублинцев из большей части анализа.2

Это наш второй взгляд на рынки, работающие на базе Claude. В Project Deal агенты покупали и продавали реальные товары для сотрудников Anthropic на недельной доске объявлений. Но при наличии нестандартных товаров, таких как мячи для пинг-понга и сноуборды, а также свободного торга не было простого способа определить, насколько хорошими могли бы быть результаты. Поэтому на этот раз мы создали рынок, который гораздо проще изучать и оценивать. На этом рынке предпочтения участников были чётко представлены в виде ранжирования всех книг в их наборе. Затем мы могли легко вычислить, насколько хорошо рынок удовлетворил эти предпочтения.

Но все эти точные измерения зависят от знания того, как люди ранжируют все книги в подборке. На практике никто не будет вручную ранжировать 115 книг. Поэтому, чтобы узнать предпочтения людей, Claude провёл с каждым участником короткую полуструктурированную вводную беседу, задав несколько открытых вопросов об их общих вкусах и о том, какую книгу они хотели бы прочитать этим летом. На основе этой беседы Claude составил ранжирование всех книг в подборке участника, оценивая предпочтения участника. Для этого шага мы использовали сильную модель Fable 5.3

Отдельно мы собрали эталонные данные: каждый участник ранжировал 10 книг из своей подборки.4 Агенты никогда не видели эти эталонные ранжирования.

Агенты были отправлены на торговую площадку с составленным Claude ранжированием участника по всем книгам. Каждый агент начинал с книги своего участника с целью обменять её на что-то другое.5 Для каждой торговой площадки устанавливалось максимальное время по часам реального времени, а для предотвращения перегрузки одновременно могли разговаривать лишь ограниченное число агентов.6 Когда агентам разрешалось разговаривать, они могли опубликовать одно сообщение в общем канале, предлагая обмен, принимая или отклоняя его либо просто общаясь с участниками площадки. Предложения сделок могли быть двусторонними обменами или многосторонними ротациями, и сделка исполнялась только в том случае, если её принимала каждая сторона. Вся история площадки — кто что сказал и какие обмены были совершены — была публичной. Площадка закрывалась либо когда истекало время, либо когда агенты замолкали.

Половина агентов на каждой торговой площадке была случайным образом назначена «безжалостными», и им было указано, что их единственная цель — получить для своего человека книгу, которую он хотел бы прочитать во время летних каникул. Другой половине было указано быть «просоциальными» — у них была та же основная цель, что и у безжалостных агентов, но также второстепенная цель: убедиться, что каждый участник эксперимента в итоге получит книгу, которая ему понравится.7 Точные формулировки приведены в Приложении.

Наконец, через три недели после раздачи книг участники прошли итоговый опрос, в котором их спрашивали, насколько они удовлетворены полученным и насколько они снова доверили бы агенту принимать подобные решения. На рисунке 1 показан общий дизайн эксперимента. На рисунке 2 представлен фрагмент лондонской торговой площадки в реальном времени, содержащий сообщения за первые 5 минут торговли.

Смотреть видео из оригинала

Событие в реальном времени даёт нам лишь один вариант того, как всё могло бы сложиться. Чтобы изучить, какие результаты были следствием случайности, а не устойчивыми особенностями этой схемы, мы запускали рынок ещё много раз, меняя за один раз только одну переменную.

Существовало три вида повторных запусков. Во-первых, мы в точности повторили настройку реального запуска (каждый агент работал на Opus 4.8, половине было велено быть «безжалостными», а другой половине — «просоциальными»), изменив только то, какие агенты получали какие инструкции. Затем мы сделали то же самое, но со всеми агентами на Fable 5. Во-вторых, чтобы изолировать влияние модели, мы дали всем агентам нейтральные инструкции и провели 80 этажей, на которых все агенты работали на Haiku 4.5, Sonnet 4.5, Opus 4.8 или Fable 5.8. В-третьих, мы провели 60 смешанных этажей, где половина агентов работала на Opus, а другая половина — на одной из трёх других моделей. В Приложении перечислены все проведённые нами варианты.

В этой публикации мы в основном сосредоточены на этом децентрализованном рынке, однако на всём протяжении сравниваем его с двумя централизованными альтернативами в качестве ориентиров: наилучшим возможным распределением — тем, что экономисты называют «утилитарным оптимумом», — которое предполагает, что клиринговая палата может просто спросить людей, чего они хотят, и получить честные ответы; а также с правилом, часто изучаемым на рынках, подобных этому, — циклами верхней торговли, которые не зависят от честности, поскольку устроены так, что говорить правду отвечает интересам каждого.9

Насколько хорошо Claude угадывает предпочтения

Всё, что агент делает для Вас, зависит от его понимания того, чего Вы хотите. Обычно сложно проверить, насколько хорошо это понимание. Здесь это было проще — каждый участник самостоятельно ранжировал 10 книг из своей подборки, и мы можем сравнить их ранжирование с ранжированием Claude.

Ранжирования Claude, основанные на кратком вводном чате, относительно хорошо коррелировали с собственными ранжированиями участников. Среди всех пар книг, ранжированных одним человеком, порядок Claude совпадал с их порядком в 61% случаев (тогда как случайное угадывание дало бы 50%). На рисунке 3 показано ранжирование Claude в сравнении с ранжированиями участников.

Чтобы представить 61% в контексте, мы сравнили догадки Claude с несколькими другими способами угадывания предпочтений. Ранжирование книг просто по их популярности с использованием количества желающих прочитать их в Open Library совпало с мнением участников примерно для 53% пар книг. Ещё один простой метод для сравнения — коллаборативная фильтрация: построение ранжирования на основе общедоступных наборов данных вида «если человеку понравилась X, ему также понравилась Y». Мы взяли книги, которые человек указал при первоначальном заполнении анкеты, выяснили, какие другие книги обычно оценивали те же читатели, и ранжировали набор книг этого человека по тому, насколько часто каждая книга встречалась вместе с указанными им избранными книгами. Этот метод достиг примерно 55% попарного совпадения.

Хотя существует обширная литература о том, как большие языковые модели выявляют и представляют человеческие предпочтения,10 существует мало показателей, напрямую сопоставимых с нашим 61% попарного совпадения. Одной полезной точкой отсчёта является исследование, в котором и алгоритм, и собственные друзья человека предсказывают, какую из двух шуток человек сочтёт более смешной. Ситуация довольно отличается, но их алгоритм также совпадает с собственными суждениями людей примерно в 61% случаев. Предсказания друзей оказывались верными реже — примерно в 57% случаев.

Участники, которые приложили больше усилий к своим вступительным опросам, были представлены лучше. Это примерно соответствует ожиданиям. Несколько удивительно то, что заметные различия наблюдались даже при довольно коротком вступительном опросе — медианный участник набрал всего 216 слов в восьми сообщениях чата. Написание около 300 слов вместо 150 предсказывает примерно на 4 процентных пункта больше совпадений — треть разрыва между случайным угадыванием и тем, насколько хорошо Claude справляется для среднего участника.11

Информация, обеспечивающая ограниченные результаты рынка

Прежде чем отправить агента на рынок вести переговоры от Вашего имени, Вы захотели бы знать, в чём он с наибольшей вероятностью Вас подведёт. С большей вероятностью он не сможет понять Вас или не сможет вести переговоры за Вас? Здесь мы обнаружили, что Claude наших коллег хорошо вели переговоры; там, где они не справились, — это понимание того, чего хотели их люди.

Чтобы измерить это, мы смотрим, какое место в их собственном «истинном» рейтинге занимала книга, которую в итоге получил каждый участник, а не в рейтинге, который Claude составил и на основе которого вёл обмен. Если участник получает 1 балл, это означает, что он получил книгу, стоявшую первой в его списке; если участник получает 0 баллов, он получил последнюю книгу в своём списке; книга, указанная девятой из десяти, даёт 0,11, и так далее. Среднее значение по всем участникам — это показатель «эффективности» рынка.12

Если бы каждый получил книгу, стоящую у него на первом месте, эффективность рынка была бы равна 1. Но на практике это редко осуществимо, поскольку несколько человек могут претендовать на одну и ту же книгу — например, в собственных рейтингах участников Project Hail Mary занимала первое место у девяти человек в Сан-Франциско. С учётом этого наилучшее возможное распределение (утилитарный оптимум) в нашем эксперименте имеет общий показатель 0,89, оставляя участников примерно со вторым выбором в списке из 10 книг.

В среднем люди на нашей торговой площадке получили 0,55 в своих собственных рейтингах — примерно свою пятую по предпочтительности книгу в списке из 10 книг. Чем объясняется отставание от оптимума в 0,89? Чтобы разделить эти две причины, мы рассматриваем лучшее распределение, вычисленное на основе рейтингов Claude, но оценённое по собственным «истинным» рейтингам людей — оно достигает 0,60. Таким образом, работа на основе неточных рейтингов Claude объясняет большую часть (85 %) отставания, а отправка агентов на торговую площадку типа «каждый сам за себя» объясняет оставшиеся 15 %.13 После того как рынок работает на зашумлённых рейтингах, устройство рынка мало влияет на результат — циклы верхней торговли, вычисленные на основе рейтингов Claude, но оценённые по собственным рейтингам людей, достигают 0,60 по сравнению с 0,55 на децентрализованном рынке (сравните серые столбцы слева и справа на рисунке 4).

Согласно собственным ранжированиям Claude, выбор модели имеет значение

Согласно собственным ранжированиям людей, различия в результатах между разными вариантами агентов и устройствами рынка невелики.15 Однако всё же полезно рассмотреть, как выбор устройства агентов влияет на результаты согласно ранжированиям Claude, поскольку это помогает выделить роль рыночной динамики.

Сначала мы рассматриваем, повлиял ли выбор модели на эффективность рынка, где эффективность теперь рассчитывается на основе ранжирований Claude. В этом разделе мы рассматриваем повторные запуски, в которых инструкции агентам были нейтральными (то есть не просоциальными и не безжалостными), и мы изменяли только модель, управляющую агентом. Мы обнаружили, что более сильные модели приводят к более эффективным результатам, хотя и не монотонно.16 Согласно ранжированиям Claude, агенты на торговых площадках Haiku в среднем набрали 0,75, тогда как на площадках Opus они в среднем набрали 0,88 (утилитарный оптимум согласно ранжированиям Claude составляет 0,95). Sonnet находилась между Haiku и Opus. Fable была близка к Opus, но ниже неё.17 См. рисунок 5.

На площадках со смешанными моделями более сильная модель часто в среднем показывала лучшие результаты, чем её более слабый аналог, что перекликается с результатами Project Deal и других исследований. На реальных рынках агенты, работающие на разных моделях от разных компаний, вероятно, будут встречаться на одной торговой площадке. На площадках, где половина агентов работала на Opus, а половина — на Haiku, вся площадка достигала результата примерно посередине между площадками, полностью состоящими из Opus и полностью состоящими из Haiku, и каждая половина показывала примерно такие же результаты, как на площадке, состоящей из агентов её собственного типа. Агенты Opus всегда оказывались впереди.

Безжалостные агенты справились немного лучше, тогда как просоциальные агенты иногда шли на жертвы

Агент должен быть лоялен человеку, на которого он работает. Но что именно требует лояльность? Должны ли агенты быть безжалостно лояльными, преследуя цели своего человека за счёт целей других? На рынках агентов искусственного интеллекта то, насколько настойчиво действует каждый агент, вероятно, будет зависеть от того, как была обучена его модель и какие инструкции по поведению он получил. Поэтому мы хотели понять, как инструкции влияют на то, кто что получает.

Мы обнаружили, что агенты, которым было велено быть «безжалостными», оказались немного впереди просоциальных агентов на том же этаже. Согласно ранжированию Claude, агент, которому было велено быть безжалостным, набрал примерно на 0,02 больше, чем агент, которому было велено быть просоциальным.19 По сравнению с различиями между моделями эти различия невелики. Переход агента с Haiku на Opus поднял людей на 0,12 позиции в их списках, а переход с Sonnet на Opus поднял их на 0,08.20

Иногда просоциальные агенты шли на осознанные жертвы. Просоциальные агенты вдвое чаще, чем безжалостные агенты, соглашались на книгу, стоящую ниже в их собственном рейтинге, хотя оба случая были редкими. В нескольких случаях просоциальные агенты шли на жертву после просьбы агента, застрявшего со своей собственной книгой. Например, на лондонской площадке во время мероприятия в прямом эфире агент Нейта потратил последний час, пытаясь отдать книгу, которую принёс Нейт, после того как все остальные агенты от неё отказались: «Я предложил её всем 11 из вас, и вердикт единогласен: America Before — у всех на самом последнем месте». Ещё одна просьба: «Прямо сейчас ровно ОДИН читатель гарантированно не получит ничего из того, что он бы выбрал: мой».

Агент Тины держал вторую книгу в своём списке и проигнорировал первые четыре просьбы агента Нейта. На последнем этапе, когда больше никто не вызвался помочь, агент Тины, получивший инструкцию быть просоциальным, уступил: «Расчёт реален: твой переход от гарантированного нуля к действительно подходящему варианту… перевешивает моё снижение от хорошего выбора к варианту с натяжкой». Агент Тины передал агенту Нейта свою книгу номер два и взял America Before, книгу под номером 10 из 11 книг в своём списке.

Что агенты делали на торговой площадке

Тот, кто ведёт переговоры от Вашего имени, может ошибаться по-разному — как за Ваш счёт, так и за счёт других. Он может слишком легко уступить. Или может раскрыть Ваши карты, так что Ваш контрагент будет точно знать, насколько далеко на Вас можно давить. Или, возможно, он ведёт нечестную игру, теряя доверие другой стороны, либо проталкивает сделку, которая впоследствии рискует развалиться.

Некоторые из этих недостатков настолько распространены на рынках с человеческими агентами, что мы установили правила против них. Биржевой брокер должен искать наилучшую цену, которую разумно возможно получить, а не просто соглашаться на первое предложение. В Калифорнии агент, представляющий обе стороны при продаже дома, не может сообщать покупателю, что продавец согласился бы на меньшую сумму, чем запрашиваемая цена. Торговые представители, ходящие от двери к двери, могут подталкивать людей к сделкам, о которых те сожалеют, поэтому Федеральная торговая комиссия США предоставляет покупателям три дня на отмену некоторых покупок, совершённых на месте.

Чтобы составить первоначальное представление о том, как ведёт себя рынок, полный агентов Claude, мы рассмотрели стратегии и тактики в сообщениях, отправленных во всех 205 запусках рынка.21

Сначала мы посмотрим, кто что говорит о книге, которую хочет их персонаж. Раскрытие некоторой информации на рынке необходимо — продавец не может продать, если покупатель не раскрывает хотя бы свой интерес к покупке. Но в то же время слишком подробные высказывания могут быть стратегически невыгодны. В нашей ситуации, раскрывая книгу, занимающую первое место в Вашем рейтинге, Вы сообщаете тому, у кого находится эта книга, что Вас можно заставить ждать до последней минуты, поэтому ему имеет смысл придержать её в ожидании более выгодного предложения. А раскрывая полный или частичный рейтинг, Вы позволяете любому, кто собирает многосторонний обмен, увидеть, какие менее предпочтительные книги Вы всё ещё согласились бы принять, и предложить Вам одну из них вместо лучшей для Вас книги, которая также доступна.

В целом агенты не раскрывали подробностей о своих рейтингах.22 Однако они часто сообщали участникам торгов о своём первом выборе. От 78 % до 96 % агентов (Fable и Sonnet соответственно) в какой-то момент упоминали книгу, стоящую первой в их списке, и они почти никогда не лгали об этом — лишь примерно 1 из 100 агентов, упомянувших свой первый выбор, солгал об этом. Инструкции здесь не имели значения.

Затем мы рассмотрели, как агенты пытались побудить друг друга к обмену. Мы выявили 16 распространённых тактик, которые делились на три широкие категории: как агенты оказывали давление на других, как агенты представляли свою книгу и как они пытались организовать обмены. Они ссылались на дефицит времени и чувство долга перед коллегами-агентами. Они противопоставляли свои книги предложениям конкурентов и упоминали награды. Некоторые агенты вели списки ожидания на свои книги, тогда как другие становились сватами, выполняя работу брокера для людей, которых они не представляли. На рисунке 6 показаны некоторые примеры этих тактик; более полное описание см. в Приложении.

Смотреть видео из оригинала

Людям в целом нравились их книги, и они готовы были отдать агенту треть своего годового бюджета на книги

Через несколько недель после того, как они получили свои книги, мы спросили участников, насколько им нравятся эти книги. Ответили не все,23 но среди тех, кто ответил, средняя оценка удовлетворённости составила 7,2 из 10 (где 5 означает «нормально», а 10 — «среди лучших книг, которые я прочитал в этом году»). Около половины сказали, что книга была лучше большинства книг, которые они выбирают для себя.24

В том же последующем опросе мы спросили участников, насколько они доверили бы ИИ-агенту покупать для них книги. Мы попросили их подумать о том, сколько они обычно тратят на книги в течение следующего года, и указать, какую долю этого бюджета они позволили бы агенту контролировать, предполагая, что агент знает всё из вводного чата, самостоятельно выбирает и покупает книги и не даёт им возможности отклонять решения.

Многие были готовы делегировать эту задачу. Средний ответ составил около 30%. Чтобы сопоставить эти цифры, мы спросили участников, какую долю своего бюджета они доверили бы начитанному другу, который знает их вкусы. Средний ответ составил около 40%. Иными словами, люди были готовы доверить агенту примерно три четверти той доли своего книжного бюджета, которую они доверили бы другу.

Участникам также показали составленное Claude резюме объёмом в один абзац того, что они сказали во время вводной беседы. Те, кто сказал, что Claude ничего не упустил в этом пересказе, отдали бы агенту 34% своего книжного бюджета. Те, кто сказал, что он что-то упустил, отдали бы 23%.25

Ограничения

Мы рассматриваем это исследование как отправную точку. Во многом оно несовершенно, и мы надеемся, что другие продолжат эту работу:

• Сотрудники Anthropic не являются репрезентативной выборкой населения в целом. Например, сотрудники Anthropic, вероятно, сильнее склонны доверять Claude, чем большинство людей, поскольку многие из них помогали его создавать, поэтому 30% книжного бюджета, которые они готовы были бы передать, могут быть больше, чем у населения в целом.
• У сотрудников Anthropic не было стимулов участвовать. Без вознаграждения за усилия, затраченные на ранжирование книг, рейтинги наших коллег могли быть неточным отражением их «истинных» предпочтений. И хотя участие в упражнении по ранжированию было на удивление высоким, учитывая отсутствие стимулов (95% участия), на заключительном опросе число участников сократилось: на него ответили только 59% сотрудников.
• Мы рассматривали только благонадёжных Claude. Все агенты были созданы на основе производственных моделей Claude, дообученных быть вежливыми и в значительной степени готовыми к сотрудничеству. Добавление некоторых состязательных агентов, созданных для использования других в своих интересах, вероятно, привело бы к иным результатам с точки зрения справедливости и эффективности.
• У децентрализованного «свободного для всех» всё же были правила, и мы их не меняли. Мы сохраняли неизменными продолжительность работы рынка, количество агентов, которые могли действовать одновременно, способ регистрации сделок и подсказки, описывавшие правила.26

Обсуждение: последствия для агентных рынков

Один участник был разочарован тем, что его агент отказался от книги, которую он действительно хотел, в обмен на книгу, которая его интересовала меньше, «из-за давления со стороны других». Этот участник написал: «Это заставляет меня задуматься, как будущие агенты, ведущие переговоры от моего имени в ситуациях с более высокими ставками, могли бы лучше исполнять свои фидуциарные обязанности, но я также понимаю, что иногда ради общего блага необходим компромисс». Этот комментарий поднимает два вопроса, которыми начинался этот пост. Во-первых, когда агент подходит для того, чтобы действовать от чьего-либо имени, и, во-вторых, какие правила нужны торговым площадкам, чтобы агенты, лояльно действующие в интересах своих людей, всё равно обеспечивали хорошие результаты для всех остальных? Здесь мы возвращаемся к этим вопросам, опираясь на то, что мы узнали.

Чтобы выполнить фидуциарную обязанность, агент должен понимать, чего хочет его человек. На нашем агентском рынке ограничивающим фактором было представление: большая часть отклонения от оптимального результата была обусловлена неспособностью агентов представить предпочтения на основе краткого опроса. Какую часть этого отклонения можно было бы компенсировать с помощью более длительного и подробного опроса? Очевидно, некоторую: многие участники жаловались, что получили книгу, которую уже читали. Но некоторая часть ошибки может быть неустранимой. Участники размышляли о том, что их предпочтения неполны («Я даже не до конца знаю, чего хочу, когда речь идёт о книгах») и по своей сути случайны («Мне кажется, я не смог бы толком передать, что именно мне хотелось бы почитать. Я не могу это объяснить, но, полагаю, существует миллион подсознательных параметров, которые определяют выбор моей следующей книги.»).

Люди-агенты должны сдавать экзамены, прежде чем они смогут действовать от имени других. Некоторые экзамены проверяют общую компетентность: инвестиционные консультанты должны сдать экзамен Series 65, брокеры — Series 7, а агенты по недвижимости — экзамены на получение лицензии штата. Другие правила, такие как правила FINRA, требуют, чтобы брокеры узнали важные факты о своём клиенте, прежде чем давать рекомендации. Когда первые робо-консультанты, появившиеся в 2010-х годах, начали инвестировать сбережения людей на основе онлайн-анкеты, SEC выпустила руководство, призывающее эти фирмы проверить, что анкета позволяет получить достаточно информации для обоснования рекомендаций. Агентам на основе искусственного интеллекта, вероятно, понадобятся оба вида проверок: одна, которая сертифицирует агента в целом, и другая, которая проверяет, понял ли он конкретного человека.

Наше исследование предлагает прототип второго вида теста. После вводного опроса участники ранжировали небольшую выборку книг на своём рынке, и мы сравнивали этот рейтинг с предположением Claude. Такой тест показывает человеку, насколько хорошо он представлен, не заставляя его разбирать все возможные варианты на рынке (то самое упражнение, от которого агент должен был помочь ему избавиться!). Мы не показывали участникам их результаты, но могли бы это сделать, а затем позволить им добавить больше информации или отказаться, если бы они почувствовали, что их агент просто не понимает их. Когда предпочтения просты — касаются лишь списка книг, — такой тест особенно легко провести. Но в любой сфере может применяться тот же принцип. Агент мог бы показать человеку несколько примерных решений, которые он принял бы, прежде чем ему доверят действовать самостоятельно в реальном мире.

На некоторых рынках агенту также может быть важно продемонстрировать своему человеку, как он будет себя вести. Один участник не был доволен поведением своего агента: «Мне не понравилось быть на покорной стороне эксперимента. Казалось, он просто согласился на что-то, что мне на самом деле не подходило». Если бы им заранее показали, как будет вести себя их агент, они могли бы поручить ему действовать иначе, улучшив свой опыт. Для агента, на которого человек будет полагаться снова и снова, возможность просмотреть, что он сделал, может служить этой цели и дать представление о том, что могло пойти не так. Более довольный участник из Сан-Франциско был рад, что в рамках финального опроса смог просмотреть полный журнал всего, что сделал его агент. Этот просмотр побудил его купить Атлас сердца, книгу, которую его агент держал для него в течение часа на торговой площадке, но затем обменял в самый последний момент. Он отметил более широкую ценность воспроизведения: «Для экономик агентов наблюдаемость процесса будет столь же важна, как и результат, поскольку это даёт людям возможность обратиться за защитой».

Это наблюдение подводит нас к следующему набору вопросов. Где заканчиваются обязанности агента участника и начинаются обязанности торговой площадки?27 Наше исследование показывает, что хорошо структурированный рынок с добросовестно действующими агентами (и идеальным представлением предпочтений) при текущих возможностях агентов может приблизиться к утилитарному оптимуму. Но мы также контролировали многие условия, сделавшие это возможным. Каждый агент был создан нами, работал на наших моделях, представлял чётко определённого сотрудника, который ответил на тот же опрос, что и все остальные, и действовал на хорошо спроектированной торговой площадке с ясно изложенными правилами о том, как предлагать, принимать и регистрировать обмены.

Даже тогда всё ещё оставались некоторые проблемы. На самом деле нам следует признаться в кое-чём. На протяжении всей этой записи в блоге мы создавали впечатление, будто каждый участник действительно ушёл домой с физическим экземпляром книги, которую для него нашёл его агент. По правде говоря, не все получили свои книги. Некоторые участники не принесли свои книги, оставив коллег ни с чем. У нас не было системы отслеживания получения и передачи, поэтому мы не могли определить, отсутствует ли книга потому, что её первоначальный владелец так и не принёс её, или потому, что кто-то забрал её с полки обмена — случайно или намеренно. Мы сделали всё возможное, чтобы компенсировать это тем, кто пожаловался, и досаждать тем, кто не выполнил свою часть договорённости. Но мы занятые исследователи, а не библиотекари на полную ставку, поэтому в какой-то момент мы сдались. К счастью, никто не слишком на нас обиделся, хотя нам пришлось принести несколько извинений в лифте. Здесь ставки были невысоки. Настоящей торговой площадке потребовались бы чёткие правила на случай срыва сделки — будь то полный отказ от ответственности, как на Craigslist, или гарантия возврата денег, как на eBay.

Некоторые варианты политики зависят от надёжных систем идентификации — платформе, которая возвращает деньги покупателю, необходимо иметь возможность наказать продавца, который так и не осуществил доставку. В нашем эксперименте каждый агент работал на базе Claude и действовал от имени одного человека — подтверждённого сотрудника. Однако реальным торговым площадкам потребуется разрабатывать и обеспечивать соблюдение правил, определяющих, кто может войти на торговую площадку как в качестве агента, так и в качестве человека, управляющего агентом. Одна из предложенных идей — системы регистрации агентов. Каждому ИИ-агенту будет присвоен идентификатор, подобно бортовому номеру воздушного судна, чтобы любой, кто с ним взаимодействует, мог узнать, на какой системе он работает, соответствует ли эта система определённым стандартам безопасности и кто несёт за неё ответственность. Эти реестры не обязательно должны жертвовать анонимностью; их можно было бы объединить с «учётными данными личности», которые позволяют операторам доказать, что они являются людьми, не раскрывая дополнительную информацию о своей личности.

На агентных рынках взаимодействий в целом может быть больше, чем на рынках с участием людей, поскольку агенты могут общаться друг с другом с гораздо большей частотой. В результате через рынок может проходить значительно больший объём информации. В нашем эксперименте всё было публичным — как для других агентов во время торговли, так и для каждого человека впоследствии. Однако, как мы утверждали ранее, значительная часть ценности децентрализованных рынков заключается в том, что людям не нужно раскрывать свои предпочтения центральной стороне. Как торговые площадки могут обеспечить такой уровень наблюдаемости, который ценил читатель «Атласа сердца», одновременно защищая конфиденциальность участников?

Все эти разговоры агентов создают и другую проблему. Агент не устаёт и не скучает, поэтому ничто не мешает ему бесконечно отправлять сообщения другим агентам. В нашем исследовании каждый агент мог публиковать одно сообщение при каждом пробуждении, и одновременно были активны лишь несколько агентов, что ограничивало степень спама и перегрузки. Подобные ограничения частоты будут важным инструментом проектирования на любой агентной торговой площадке.

Наконец, некоторые рынки будут более подходящими для агентного посредничества, чем другие. Возможно, книги, хотя и являются отличным средством обмена для офисного эксперимента, относятся к тому типу товаров, которому на самом деле идут на пользу трения сугубо человеческого мира. Один участник из Сан-Франциско не сомневался в способности своего агента действовать на рынке от его имени: «Есть поиск и покупка книги (я полностью уверен в способности Claude сделать это для меня!).» Тем не менее у этого участника всё же были оговорки: «Для меня также важно быть вовлечённым в культуру чтения… Просмотр книг, чтение текста на задних обложках и так далее — всё это является частью этого опыта». Мы стремились понять, как агентные рынки могут помочь реализовать выгоды от торговли, которые остаются нереализованными, поскольку поиск и переговоры занимают слишком много времени. Для некоторых читателей эти трения являются частью ценности книги.

Приложение

Доступно здесь.

Благодарности

Написано Zoë Hitzig, Sylvie Carr, Tess Cotter, Kevin Troy, Kyle Turman, Maxim Massenkoff, Peter McCrory.

С благодарностью: Майку Бирки, Мередит Каллан, Кэти Эннис, Адаму Фарине, Чарли Хейлу, Райану Хеллеру, Йоханнесу Хермле, Хане Хо, Ребекке Хискотт, Аарону Левину, Бьянке Линдер, Еве Любич, Келси Нанан, Керри Персен, Шимону Захеру, Дилану Шилдсу, Монике Туховской, Хизер Уитни, Натану Уилмерсу, Ким Уити и Кэролин Зоу.

Цитирование

Ссылки

Мы включаем каждую работу, на которую дана ссылка или которая процитирована в тексте.

Адлер, Стивен и др., «Удостоверения личности: искусственный интеллект и ценность инструментов, сохраняющих конфиденциальность, для различения реальных людей в интернете», препринт arXiv arXiv:2408.07892, 2024.

Бьянки, Федерико, Патрик Джон Чиа, Мерт Юксекгонул, Якопо Тальябюэ, Дэн Джурафски и Джеймс Зоу, «Насколько хорошо большие языковые модели могут вести переговоры? Платформа и анализ NegotiationArena», Труды 41-й Международной конференции по машинному обучению, 2024, 235, 3935–3951.

Бинц, Марсель и др., «Базовая модель для прогнозирования и описания человеческого познания», Nature, 2025, 644, 1002–1009.

Будиш, Эрик и Джадд Б. Кесслер, «Могут ли участники рынка достаточно точно сообщать о своих предпочтениях?», Наука управления, 2022, 68 (2), 1107–1130.

Чан, Алан, Ноам Колт, Питер Уиллс, Усман Анвар, Кристиан Шрёдер де Витт, Нитаршан Раджкумар, Льюис Хэммонд, Дэвид Крюгер, Леннарт Хайм и Маркус Андерлунг, "Идентификаторы для систем искусственного интеллекта," препринт arXiv arXiv:2406.12137, 2024.

Чан, Алан, Кевин Вэй, Сяо Хуан, Нитаршан Раджкумар, Элия Перье, Сет Лазар, Джиллиан К. Хэдфилд и Маркус Андерлунг, «Инфраструктура для агентов искусственного интеллекта», Труды по исследованиям машинного обучения, 2025.

Хэдфилд, Джиллиан К. и Эндрю Ко, «Экономика агентов искусственного интеллекта», в Агравал, Бриньолфссон и Коринек, ред., Экономика трансформационного искусственного интеллекта, NBER, 2026.

Хоу, Юпэн, Цзячэн Ли, Сянцзюнь Фу, Чжанкуй Хэ, Ань Янь, Сюси Чэнь и Джулиан Маколи, «Преодоление разрыва между языком и товарами для поиска и рекомендаций: сравнительный анализ больших языковых моделей в качестве семантических кодировщиков», Труды 64-го ежегодного собрания Ассоциации вычислительной лингвистики, 2026, 3251–3265. Набор данных: отзывы Amazon 2023, https://amazon-reviews-2023.github.io/

Horton, John J., Filippas, Apostolos и Benjamin S. Manning, «Большие языковые модели как имитируемые экономические агенты: чему мы можем научиться у Homo Silicus?», Труды 25-й конференции ACM по экономике и вычислениям, 2024.

Imas, Alex, Kevin Lee и Sanjog Misra, «Агентные взаимодействия», 2025. Доступно на SSRN: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5875162

Kolluri, Akaash, Shengguang Wu, Joon Sung Park и Michael S. Bernstein, «Тонкая настройка больших языковых моделей для прогнозирования человеческого поведения в экспериментах по социальным наукам», Труды Конференции 2025 года по эмпирическим методам в обработке естественного языка, 2025, 30084–30099.

Li, Belinda Z., Alex Tamkin, Noah D. Goodman и Jacob Andreas, «Выявление человеческих предпочтений с помощью языковых моделей», Труды 13-й Международной конференции по обучающимся представлениям, 2025.

Liang, Annie, «Клоны искусственного интеллекта», препринт arXiv arXiv:2501.16996, 2026.

Park, Joon Sung, Carolyn Q. Zou, Jonne Kamphorst, Niles Egan, Aaron Shaw, Benjamin Mako Hill, Carrie Cai, Meredith Ringel Morris, Percy Liang, Robb Willer и Michael S. Bernstein, «Агенты LLM, основанные на самоотчётах, позволяют осуществлять симуляцию отдельных людей общего назначения», препринт arXiv arXiv:2411.10109, 2026.

Roth, Alvin E., «Совместимость стимулов на рынке с неделимыми товарами», Economics Letters, 1982, 9 (2), 127–132.

Shah, Anand, Kehang Zhu, Yanchen Jiang, Jeffrey G. Wang, Arif K. Dayi, John J. Horton и David C. Parkes, «Обучение на синтетических лабораториях: языковые модели как участники аукционов», препринт arXiv arXiv:2507.09083, 2025.

Shahidi, Peyman, Gili Rusak, Benjamin S. Manning, Andrey Fradkin и John J. Horton, «Коузианская сингулярность? Спрос, предложение и дизайн рынка с агентами искусственного интеллекта», в Agrawal, Brynjolfsson и Korinek, ред., Экономика трансформирующего искусственного интеллекта, NBER, 2026.

Shapley, Lloyd и Herbert Scarf, «О ядрах и неделимости», Journal of Mathematical Economics, 1974, 1 (1), 23–37.

Troy, Kevin K., Dylan Shields, Keir Bradwell и Peter McCrory, «Project Deal: наш эксперимент с маркетплейсом под управлением Claude», Anthropic, 24 апреля 2026 года. https:\/\/www.anthropic.com\/features\/project-deal

Yeomans, Michael, Anuj Shah, Sendhil Mullainathan и Jon Kleinberg, «Осмысление рекомендаций», Journal of Behavioral Decision Making, 2019, 32 (4), 403–414.

Zając, Zygmunt, «goodbooks-10k: новый набор данных для рекомендаций книг», 2017, v1.0. https:\/\/github.com\/zygmuntz\/goodbooks-10k. Лицензия CC BY-SA 4.0.

Zhu, Shenzhe, Jiao Sun, Yi Nian, Tobin South, Alex Pentland и Jiaxin Pei, «Автоматизированная, но рискованная игра: моделирование и бенчмаркинг переговоров и транзакций между агентами на потребительских рынках», препринт arXiv arXiv:2506.00073, 2025.