Как Cresta превратила экспертизу в области клиентского опыта в конструктор агентов на базе Claude Agent SDK

Полный перевод статьи из блога Claude на русский. Оригинал — по ссылке.

В нашей серии «Как стартапы создают продукты с Claude» мы рассматриваем решения, лежащие в основе продуктов на базе искусственного интеллекта. Здесь мы рассказываем, как Cresta применила свой опыт создания нативных для искусственного интеллекта решений для клиентского опыта в Conductor — агенте, который помогает разработчикам создавать и улучшать других агентов.

Создание корпоративных агентов на базе искусственного интеллекта для сценариев клиентского опыта требует понимания контекста, содержащегося в широком спектре взаимодействий с клиентами. Например, клиенты могут:

• Запрашивать возврат средств, не уточняя, какую покупку они имеют в виду, 
• Сообщать о проблеме с выставлением счёта и проблеме со входом в одной и той же сообщении, или 
• Запрашивать возврат средств после окончания срока возврата. 

Чтобы ответить правильно, агенту может потребоваться проверить, что купил клиент, политику возврата средств, историю его учётной записи или статус платежа.

Cresta наблюдает эти взаимодействия в большом объёме. Её платформа обеспечивает клиентский опыт, агентов искусственного интеллекта, которые самостоятельно ведут разговоры, предоставляют рекомендации в реальном времени сотрудникам, работающим вместе с ними, и выявляют аналитику разговоров, которая показывает бизнесу, что следует улучшить. 

Создание и поддержка агентов клиентского опыта требуют от организаций принятия ключевых решений об операционных требованиях: что агенту необходимо знать, к каким системам он должен иметь доступ и где его поведение должно быть гибким или детерминированным. Cresta хотела сделать такую оценку доступной большему числу команд, чтобы каждой из них не приходилось начинать с нуля. 

Conductor — результат этой работы: конструктор агентов на естественном языке, который помогает командам превращать сложный бизнес-контекст в агентов, готовых к использованию в рабочей среде. Пользователи описывают, что они хотят создать, а Conductor направляет работу от обоснованного плана через реализацию, оценку и оптимизацию.

Изначально Cresta создала раннюю версию Conductor с использованием Claude Sonnet и Claude Opus, чтобы помогать внутренним командам поддерживать развёртывания для клиентов. Оставался открытым вопрос: сможет ли Cresta превратить эту систему в продукт, который клиенты смогут использовать для непосредственного создания агентов внутри платформы.

Для выполнения открытых задач разработки Conductor использует Claude Agent SDK в качестве универсальной среды для сбора контекста, использования инструментов, написания и запуска кода, а также адаптации на основе результатов.

«Мы использовали Claude Code внутри компании как инструмент разработки, поскольку он был очень эффективен в аспектах разработки программного обеспечения при создании агента», — сказал Ренцзе Ли, руководитель инженерного направления Cresta Conductor. «Claude Agent SDK предоставил нам возможность программно использовать ту же агентную среду разработки. С помощью Conductor мы соединили её с глубокой аналитикой разговоров Cresta, экспертизой в области клиентского опыта, оценками и средой выполнения, чтобы предоставить пользователям опыт создания агентов, который мы хотели бы иметь с самого первого дня».

Cresta сообщает, что в ранних сценариях использования в Cresta и у её партнёров Conductor сократил первоначальное время развёртывания примерно вдвое. 

Мета-агент, который помогает создать следующего агента

Conductor — это самосовершенствующийся мета-агент, созданный на основе устоявшихся лучших практик разработки агентов для клиентского опыта. По мере того как команды создают и совершенствуют с его помощью всё больше агентов, они фиксируют собственные проверенные шаблоны, рабочие процессы и экспертные суждения. Это создаёт маховик знаний, который делает будущую разработку быстрее и последовательнее.

После запуска взаимодействия в рабочей среде, результаты рабочих процессов и обратная связь становятся новыми сигналами для следующего улучшения. 

Conductor помогает разработчикам превращать полученный при создании агента опыт в повторно используемый артефакт памяти, фиксируя шаблоны, бизнес-правила и подходы к оценке. Затем они могут поделиться им в качестве навыка с остальной командой, чтобы другие могли создавать агентов на основе тех же проверенных практик.

Упрощение принятия важных решений

Написание первого промпта — лишь одна часть создания полезного агента. Одно из более сложных решений заключается в том, где разговор должен оставаться гибким, а где ему необходимы явные бизнес-правила и контролируемое поведение инструментов.

"Не стоит делать всё слишком детерминированным, иначе Вы создадите гигантское дерево решений, пытаясь охватить все возможные ветви… но существуют критически важные для предприятия рабочие процессы, которые должны работать всегда, особенно в строго регулируемых отраслях с низкой толерантностью к риску," — сказал Ренцзе. "Conductor помогает выявлять и укреплять эти детерминированные требования и их реализацию, сохраняя гибкость для улучшения общего опыта."

Conductor использует исторические разговоры, чтобы помочь командам определить, где человек должен оставаться в контуре, а где модели можно предоставить пространство для адаптации. После установления этих границ разработчикам всё равно необходимо тестировать детерминированные части на соответствие требованиям, которые они призваны обеспечивать, и пересматривать эти тесты по мере изменения базовых бизнес-правил. 

Как Cresta оценивает Conductor

Conductor оценивается по тому, насколько хорошо он создаёт агентов. Для этого Cresta проверяет Conductor с помощью набора задач по созданию:

• Создать нового агента
• Написать тестовый сценарий для него
• Изменить уже существующего агента
• Провести анализ первопричин

Завершение задачи — не единственный критерий. Команда также оценивает результаты, то, как Conductor к ним пришёл, и что он использовал в процессе.

Эти же задачи служат подстраховкой. Когда запускается новая модель Claude или обновляется фреймворк Conductor, Cresta повторно запускает свои оценки. Она использует те же задачи и ту же систему оценивания, чтобы определить, что улучшилось и что ещё требует доработки, прежде чем кто-либо утвердит изменение.

Такая же дисциплина оценки встроена в Conductor, что позволяет его пользователям проверять, работают ли их агенты так, как задумано. Conductor превращает требования и пограничные случаи, зафиксированные на этапах разработки, в тесты в рамках своего модуля оценки. 

Затем команды могут отслеживать рабочие процессы, которые должны срабатывать каждый раз, по мере изменения политик, подключённых систем и моделей общения. Это даёт им практический способ обновлять агента по мере изменения бизнеса, не теряя надёжности рабочих процессов, которые они уже укрепили.

Создание Conductor на основе Claude Agent SDK

Cresta разработала Conductor как специфичную для клиентского опыта плоскость управления для разработки агентов. Она объединяет данные разговоров, отраслевую экспертизу и практики разработки, а затем управляет каждым запуском агента с помощью политик, наблюдаемости, верификации и улучшений на основе обратной связи.

Claude Agent SDK находится под Conductor в качестве универсальной среды выполнения. Он управляет сбором контекста, вызовом инструментов, а также написанием и запуском кода; Conductor добавляет поверх этого рабочие процессы Cresta для клиентского опыта, инструменты и отраслевой контекст.

Команда оценивала SDK в соответствии с задачами, которые должен был выполнять Conductor: задачами с несколькими этапами, существенным объёмом контекста и многократным использованием инструментов. Проверка охватывала конфиденциальность данных, архитектуру арендаторов, распределение ключей на уровне организации, средства контроля и наблюдаемость во всей реализации.

"Anthropic предоставляет нам прочную универсальную основу для разработки агентного программного обеспечения. Это позволяет нам направлять инженерные инвестиции туда, где Cresta создаёт наиболее устойчивую ценность для клиентов," — сказал Сянжу Чэнь, вице-президент по инженерии в Cresta.

Передача инженерной экспертизы Cresta непосредственно в руки клиентов

Conductor появился внутри Cresta, помогая собственной команде, работающей непосредственно у клиентов, понять, какие задачи разработки могут стать повторяемыми, где контекст имеет наибольшее значение и что разработчикам необходимо проверять в процессе. Успех этой внутренней работы придал команде уверенность в том, чтобы предложить те же возможности клиентам и партнёрам.

Для любой команды, чей продукт развертывает пользовательских агентов быстрее, чем её инженеры могут создавать их вручную, подход Cresta — полезный ориентир: при работе с агентами или метаагентами этап после первоначальной разработки часто оказывается самой сложной частью.

Узнайте, как Conductor превращает бизнес-контекст в более качественное проектирование, реализацию и постоянное совершенствование агентов.