NVIDIA и Anthropic расширяют контроль компаний над ИИ-агентами

Полный перевод статьи из блога Claude на русский. Оригинал — по ссылке.

Сегодня NVIDIA объявила о платформе Open Agent Safety Platform — открытой программной платформе и эталонном проекте системы для усиления безопасности искусственного интеллекта. Anthropic сотрудничала с NVIDIA, чтобы добавить дополнительные уровни безопасности и контроля в стек агентов. 

Claude Managed Agents — набор компонуемых программных интерфейсов приложений для создания и развертывания агентов промышленного уровня в масштабе — хранит учетные данные, необходимые агенту, в хранилище, поэтому агент никогда их не видит. Программное обеспечение NVIDIA OpenShell с открытым исходным кодом предназначено для контроля того, что агент может выполнять и к чему он может обращаться во время работы. Клиенты, использующие Managed Agents с OpenShell, могут ограничивать возможности агента, просматривать, что сделал агент, и подтверждать, что ограничения действуют. 

Компании переходят от использования искусственного интеллекта для ответов на вопросы к развертыванию агентов, которые выполняют сложную работу в различных подразделениях, используют конфиденциальные данные и совершают действия от имени пользователей. По мере совершенствования моделей агенты находят больше применений и получают больше доступа. Чем больше доступа имеет агент, тем сильнее компании необходимо контролировать и проверять его действия. 

Многоуровневая защита

Защита начинается с мер предосторожности внутри модели. Managed Agents и NVIDIA Open Shell добавляют ограничения, которые находятся за пределами модели и применяются к действиям агента. Каждый уровень разработан для независимого применения своих ограничений, поэтому защита не зависит от какого-либо одного уровня. Уровни являются модульными, поэтому компании могут использовать те, которые подходят для их конфигурации. 

Claude Managed Agents выполняет работу и хранит учётные данные

С Managed Agents цикл работы агента выполняется на отдельном сервере, не связанном с изолированной средой, в которой выполняется работа. Учётные данные, то есть пароли и ключи доступа, хранятся в отдельном хранилище, поэтому агент никогда их не видит. 

Managed Agents также предоставляет журналы аудита, которые фиксируют действия каждого агента, и интеграцию с существующими в компании средствами контроля доступа. Компании могут использовать собственную конфигурацию изолированной среды и выбирать, где и как она запускается. 

NVIDIA OpenShell определяет, к чему агент может получить доступ

OpenShell — это программное обеспечение NVIDIA с открытым исходным кодом для безопасной среды выполнения. Оно управляет и отслеживает всё поведение ИИ-агентов и применяет политики к каждому действию. OpenShell блокирует всё, если это не разрешено правилом. Оно проверяет каждый инструмент, который агент пытается использовать, и применяет правила к файлам, сетевым подключениям и данным, к которым агент получает доступ. Правила применяются вне агента, а OpenShell регистрирует каждое решение, которое оно разрешает или блокирует. 

Команды могут начать с узких разрешений, просмотреть журнал и использовать Claude, чтобы ужесточить правила до минимального доступа, необходимого для выполнения задачи. Затем средство проверки политик OpenShell использует математическое доказательство, чтобы подтвердить, к чему агент может получить доступ в соответствии с правилами, написанными командой. 

Что включает Claude Managed Agents

• Агенты производственного уровня с безопасной изолированной средой, аутентификацией и выполнением инструментов, которые обеспечиваются для Вас. 
• Длительные сеансы, которые работают автономно часами, с ходом выполнения и результатами, сохраняющимися даже при разрыве соединения. 
• Оркестрация нескольких агентов, при которой агенты могут запускать и направлять других агентов для параллельного выполнения сложной работы. 
• Надёжное управление, предоставляющее агентам доступ к реальным системам с ограниченными разрешениями, управлением идентификацией и встроенным отслеживанием выполнения. 

Как команды используют Managed Agents

• Notion позволяет командам поручать работу Claude в рамках своего рабочего пространства. Инженеры используют его для выпуска кода, а другие сотрудники — для создания веб-сайтов и презентаций. Десятки задач могут выполняться параллельно, пока команда совместно работает над результатами. 
• Rakuten запускает специализированных агентов в области инженерии, продукта, продаж, маркетинга и финансов, при этом каждый из них развёртывается в течение недели. 
• Asana создала AI Teammates — агентов, которые работают вместе с людьми в проектах Asana, берут на себя задачи и готовят материалы. Используя Managed Agents, команда добавила расширенные возможности быстрее, чем смогла бы в противном случае. 

Доступность

Управляемые агенты доступны уже сегодня. Они могут работать в контролируемой Вами изолированной среде — либо на Вашей собственной инфраструктуре, либо у управляемого поставщика. NVIDIA OpenShell имеет открытый исходный код по лицензии Apache 2.0 и доступен на GitHub и на странице ресурсов для разработчиков NVIDIA.