Самообслуживаемая аналитика данных в Slack: как Anthropic внедряет Claude Tag для произвольных вопросов

Полный перевод статьи из блога Claude на русский. Оригинал — по ссылке.

В нашей предыдущей публикации мы описали, как мы дали Claude возможность отвечать на вопросы по аналитике данных с точностью около 95 % с помощью трех основных артефактов:

• Управляемый семантический слой;
• Набор файлов навыков, которые кодируют наши аналитические соглашения; и
• Набор оценок для измерения качества работы.

Эта публикация была посвящена Claude Code (основной среде разработки для наших специалистов по данным и инженеров данных), а также лучшим практикам повышения агентной точности.

В этой публикации рассказывается о том, как команда данных Anthropic применяет эту основу там, где работает остальная часть компании, используя Claude Tag (публичная бета-версия), который является основой для нашего агента аналитики данных в Slack. Любой может задавать ему вопросы, связанные с данными, и получать ответы, подкрепленные теми же управляемыми определениями, которые используют аналитики.

Лучшие практики развертывания агента аналитики данных в Slack

Сделать агента точным и развернуть его там, где им могут пользоваться не аналитики — это оказались совершенно разные процессы. Мы не будем повторять наши рекомендации по точности из нашей предыдущей публикации, поскольку они по-прежнему применимы здесь.

Вместо этого мы рассмотрим пять самых важных выводов, которые мы сделали за последний год, о том, как развернуть агента аналитики данных в Slack и как Вам следует думать о распространении, разрешениях, актуальности и наблюдаемости.

Обновляйте навыки так же часто, как обновляете свои модели данных

Вы можете научить Claude выполнять задачу в соответствии с Вашим стилем и требованиями с помощью навыка, который представляет собой файл Markdown с инструкциями на естественном языке и файлами, к которым Claude может обращаться при необходимости.

Самым важным архитектурным решением, которое мы приняли, было рассматривать файлы навыков как предоставляемый контент, который постоянно обновляется, а не как то, что поставляется один раз и забывается.

Модели данных могут меняться несколько раз в день. Например, столбец переименовывается, определение метрики исправляется или таблица объявляется устаревшей. Каждое из этих изменений должно попасть в файл навыка в сравнительно короткий срок. Если Claude читает копию навыка за прошлый вторник, он с полной уверенностью дает неправильный ответ из прошлого вторника.

Эта склонность может быть особенно вредной, поскольку потребитель данных теперь полностью отделен от контекста, который ему нужен, чтобы оценить точность ответа. Он не смотрит на панель мониторинга с линиями тренда или связанными метриками, которые могут помочь ему провести «проверку на здравый смысл». Он может получить всего одну или две точки данных в Slack, и если это не те данные, на которые он смотрит регулярно, он, скорее всего, примет этот уверенно неправильный ответ.

Чтобы контролировать эту постоянно меняющуюся среду, среда выполнения Claude Tag монтирует каталог skills/ нашего репозитория данных и перечитывает его при каждом разговоре. Файлы навыков — это просто Markdown на диске; агент читает их так же, как читал бы любой файл проекта. 

Дайте агенту навыки помимо знания того, что запрашивать

Нашим первоначальным инстинктом при развертывании нашего агента аналитики данных с помощью Claude Tag было создать «навык знаний», который учит Claude, какие таблицы использовать и как организован наш семантический слой, и на этом остановиться. Мы быстро определили, что такой подход даст корректные числа, но не дотянет до полезных инсайтов.

Большинство потребителей данных склонны задавать открытые и неоднозначные вопросы, такие как "что вызывает это снижение?", или "можете ли Вы спрогнозировать, каким будет итог на конец месяца?", или "покажите мне эти данные в виде воронки." Чтобы ответить на них, агент должен знать не только где находятся данные, но и как аналитик работал бы с ними.

Поэтому наряду с этим навыком знаний мы подключили Claude Tag дополнительные навыки аналитики или регламенты, включая:

• Прогнозирование: когда и как аппроксимировать простой тренд, предположения о сезонности и когда следует отказаться, потому что ряд слишком короткий или слишком зашумленный.
• Когортный анализ и анализ удержания: стандартные определения когорт, шаблон кривой удержания, представляемый руководству, и любые подводные камни (левое цензурирование, смещение выжившего), из-за которых наивные реализации дают сбой.
• Анализ воронки: канонические определения этапов для ключевых продуктовых воронок, чтобы вопрос «на каком этапе адаптации пользователи отсеиваются?» получал согласованные ответы.
• Построение диаграмм: соглашения о визуализации, например какой тип диаграммы использовать для какого вопроса, цветовые палитры и когда таблица понятнее графика.
• Аналитическое изложение: как структурировать вывод (сначала краткое резюме, число, механизм, оговорка) и какой уровень осторожности в формулировках уместен с учетом степени уверенности.

У каждой команды по работе с данными, вероятно, уже есть такие соглашения; просто обычно они существуют в чьей-то голове и лишь изредка документируются. Их фиксация в виде навыков гарантирует, что Claude применяет их так же последовательно, как это делал бы Ваш специалист по данным.

Связывайтесь с бизнес-контекстом, а не только с хранилищем данных

Даже такого сочетания навыков работы со знаниями и навыков работы с регламентами не всегда достаточно, чтобы ответить на вопрос. Когда кто-то спрашивает: «почему во вторник снизилось число регистраций?», ответ часто находится не в модели данных, а распределён по веткам Slack, трекерам инцидентов, примечаниям к выпускам и документации.

Чтобы учесть эти пробелы, мы подключаем Claude Tag к нашему внутреннему индексу знаний, который каталогизирует документы, обсуждения и события по всей компании. Когда агент видит изменение метрики, он может выполнить поиск по этому индексу, чтобы найти контекст того же периода: инцидент, открытый тем утром, переключённый функциональный флаг, объявление конкурента, которым кто-то поделился в канале. 

Теперь ответ выглядел бы так: «число регистраций во вторник снизилось на 12%: тем утром с 9:00 до 11:00 был открыт инцидент в платёжном сервисе, и спад сосредоточен в затронутом регионе».

Если в Вашей организации есть граф знаний, внутренний поиск или даже просто хорошо организованные потоки инцидентов и журналов изменений, подключение Claude Tag к ним — самая ценная информация, которую Вы можете добавить после самого хранилища данных. Вы также можете подключить Claude Tag, чтобы он мог читать ключевые каналы в Slack и получать из них контекст. 

Осознанно назначайте разрешения сервисной учетной записи

Claude Tag выполняет запросы к Вашему хранилищу данных от имени сервисной учетной записи, а не от имени человека, задавшего вопрос. Хотя это правильная архитектура, поскольку Вам не нужно, чтобы каждому пользователю Slack требовались прямые учетные данные для доступа к хранилищу данных, каждый, кто может упомянуть бота, имеет доступ бота к данным. Безопасность на уровне строк для отдельных пользователей отсутствует: все, что может читать сервисная учетная запись, любой участник канала может запросить.

Мы подходим к этому пятью способами (и рекомендуем отнестись к этому серьезно, поскольку здесь легко ошибиться и трудно отменить изменения):

1. Ограничьте сервисную учётную запись только управляемыми данными./strong> В Anthropic сервисная учётная запись Claude Tag может читать выходные таблицы семантического слоя и курируемые витрины данных, которые их питают. Она не может читать необработанные потоки событий, промежуточные схемы или что-либо в личной песочнице. Если вопрос требует данных за пределами этой границы, агент сообщает об этом, а не строит догадки. Это также правильный пользовательский опыт, потому что данные за пределами управляемого слоя не были проверены.

2. Классифицируйте персональную идентифицируемую информацию на уровне столбцов и не предоставляйте сервисной учётной записи допуск. Управляемые данные не становятся автоматически безопасными с точки зрения персональной идентифицируемой информации (например, курируемая таблица всё равно может содержать адрес электронной почты). Мы поддерживаем каталог данных с происхождением данных на уровне столбцов, поэтому происхождение каждого столбца и его дальнейший поток известны. Когда появляются новые столбцы, Claude сканирует их и помечает вероятных кандидатов на персональную идентифицируемую информацию для проверки человеком. Затем человек применяет классификацию в метаданных столбца, а происхождение данных распространяет эту метку на производные таблицы. Учитывая, что сервисная учётная запись Claude Tag не имеет допуска к персональной идентифицируемой информации, средства управления доступом на уровне столбцов в хранилище делают любые столбцы с персональной идентифицируемой информацией невидимыми для агента. Он может запрашивать таблицу, но конфиденциальные столбцы просто недоступны для чтения.

3. Задокументируйте путь подключения в самом навыке. В нашем навыке хранилища данных есть специальный раздел о том, как агент подключается — через интерфейс командной строки, прямой программный интерфейс приложения или сервер протокола контекста модели, — и как именно работает аутентификация для каждого пути. Эта прозаическая функция позволяет нам различать ситуацию, когда агент завершает работу корректно («Я не могу подключиться к хранилищу данных из этой среды; вот почему»), и ситуацию, когда сбой сбивает с толку: запрос незаметно выполняется не в том проекте или запрос аутентификации перенаправляется туда, куда не должен. Когда механика подключения описана в навыке, агент может объяснить собственные ограничения.

4. Рассматривайте участие Claude в канале как предоставление доступа. Добавление Claude Tag в канал Slack фактически предоставляет участникам этого канала доступ на чтение ко всему, что агент может запрашивать. Мы сделали это явным: Claude добавляется в канал участником команды данных, а команда данных отвечает за список каналов.

5. Помечайте каждый запрос. Для каждого запроса к хранилищу данных Claude Tag передает метки, идентифицирующие поверхность, беседу и запрашивающего пользователя (если Slack это предоставляет). Это ничего не обеспечивает во время выполнения запроса, но дает атрибуцию затрат и журналы аудита (Вы можете постфактум определить, кто задал вопрос, при котором было просканировано 4 ТБ).

Наша общая позиция заключается в том, что агент аналитики данных в Slack — это общая реплика для чтения Вашего управляемого хранилища данных, и мы стараемся ограничивать его рамками этой роли.

Инструментируйте каждый ответ

Определить, дал ли агент достаточный ответ, нельзя на глаз.

Мы регистрируем структурированное событие для каждого вопроса, который обрабатывает Claude Tag. Это включает:

• Какие файлы навыков были загружены и в какой версии; 
• Отреагировал ли пользователь положительно или отрицательно либо ответил исправлением; и 
• Все открытые предупреждения о качестве данных в таблицах, которых он коснулся. Мы также показываем все предупреждения о качестве данных в нижнем колонтитуле ответа, чтобы предупреждение об устаревших данных отображалось рядом с числом, а не оставалось невидимым.

Эти телеметрические данные формируют два представления. Одно отслеживает внедрение или то, какая доля запросов агентов направляется через управляемый слой, а не через ситуативный SQL, по интерфейсу и домену. Другое отслеживает корректность, измеряемую долей реакций «палец вниз» и исправлений по домену. Это оперативный прокси-показатель точности между запусками оценок.

Метрика внедрения оказалась самым действенным показателем из всех, которые мы отслеживали. Когда она снижается для какого-либо домена, это почти всегда означает, что либо файл навыка отклонился от актуального состояния, либо появился новый класс вопросов, который семантический слой не покрывает. 

Как это ускоряет внедрение самостоятельной аналитики

Ветки Claude Tag становятся новой встречей

Наши любимые и самые эффективные ветки Claude Tag обычно включают несколько человек. В таких случаях мы видим, как люди вносят идеи и контекст, пока Claude выполняет основную работу. 

Например, участник команды данных спросил Claude, почему панель мониторинга выручки загружалась на несколько минут дольше обычного. Claude обнаружил, что результаты запросов не кэшировались, а ошибка замедляла попадание результатов на страницу. 

Claude уведомил владельца информационной панели, который решил немедленно исправить кэш, а ошибку обработать отдельным действием.

Затем владелец спросил, какие еще информационные панели замедлились, и выяснилось, что десятки из них пострадали от той же ошибки кэширования. Claude написал исправление кэширования, участник команды данных проверил его, и все затронутые информационные панели заработали на полную мощность менее чем за час.

Эти ветки открыты, что полезно по нескольким причинам. Люди, читающие обсуждение, получают контекст — что сломалось, почему и как это исправили — без необходимости писать для них сводку. Что еще важнее, им не нужно оставаться пассивными читателями. Любой, кто знает что-то полезное, может подключиться и внести вклад — так, как это сделали участники команды в примере выше.

Поэтому держите агента в общих каналах и ведите работу в ветках, а не в личных сообщениях, поскольку ветка может служить доступной для проверки исторической записью.

Claude Tag выполняет повторяющиеся задачи

Многие задачи по работе с данными повторяются регулярно: проверки состояния конвейеров обработки данных, мониторинг ключевых показателей эффективности и так далее. Вы можете попросить Claude создать циклы, которые могут выполнять циклические задачи по расписанию или в ответ на необычные изменения. Некоторые примеры, связанные с данными, которые мы внедрили, включают:

• Проактивные сводки: Claude предоставляет сводку перед еженедельным стендапом: что изменилось на прошлой неделе, как это соотносится с предыдущей неделей и на что стоит обратить внимание.
• Мониторинг тестов: Когда мы отслеживаем запуск или эксперимент, Claude предоставляет сводки несколько раз в день. Во время одного недавнего эксперимента он заметил, что настройки изменились в процессе, и помог нам обнаружить и исправить это на раннем этапе.
• Наблюдаемость: Другие циклы отслеживают наши конвейеры обработки данных и панели мониторинга. Если конвейер обработки данных дает сбой, Claude начинает расследование, подготавливает черновик исправления и уведомляет дежурного сотрудника. Если ключевой показатель эффективности неожиданно меняется, Claude предоставляет вероятные объяснения: влияние праздника? изменение данных на предыдущем этапе? — и проверяет их до того, как кто-либо откроет панель мониторинга.
• Первичная сортировка: еще один цикл отслеживает наш канал с вопросами о данных. Для каждого нового вопроса он принимает решение: ответить на него напрямую, начать более глубокое исследование или привлечь человека. К тому моменту, когда кто-то из команды по работе с данными проверяет, большая часть работы уже сделана.
  

Claude также может помочь разработать цикл. Спросите @Claude, какие повторяющиеся задачи он видел в Ваших каналах и как он может помочь.

Вмешательство, когда это необходимо

Вы можете разрешить Claude быть более проактивным в любом выбранном Вами канале: следить за перепиской и вмешиваться, чтобы помочь, когда это необходимо. В одном из наших каналов о данных за последний месяц Claude Tag ответил более чем на 75 % вопросов, которые задавали люди, обычно в течение одной или двух минут, даже если к нему не обращались. 

Например, член команды Anthropic спросил в общедоступном канале, включала ли информационная панель новую категорию использования. В течение 90 секунд Claude ответил, как были определены данные, подтвердил, что новый сегмент отсутствует, предложил исправление и подготовил запрос на внесение изменений. Специалист по данным проверил и одобрил его. Затем Claude объединил запрос на внесение изменений и обновил информационную панель. 

Начало работы

Если Вы уже выполнили работу из нашей первой публикации, развёртывание в Slack — это в основном обвязка, хотя порядок важен:

1. Сначала разрешения. Решите, что может читать сервисная учётная запись, прежде чем писать хотя бы одну строку кода агента. Гораздо проще расширить доступ позже, чем отбирать его обратно.
2. Во вторую очередь — распространение. Выберите смонтированный репозиторий или навыки через протокол контекста модели и проверьте актуальность от начала до конца: измените файл навыка и подтвердите, что Claude Tag подхватывает его в рамках Вашего соглашения об уровне обслуживания.
3. Телеметрия с первого дня. Вы не сможете задним числом внедрить инструментацию в разговоры месячной давности. Регистрируйте структурированное событие уже при первом вопросе.
4. Индекс знаний, когда сможете. Хранилище данных отвечает на вопрос что; Ваши внутренние документы и ленты инцидентов отвечают на вопрос почему. Подключите их, как только канал данных станет стабильным.
5. Аналитические навыки — в последнюю очередь. Сначала создайте навык доступа к данным, а затем пусть реальные вопросы покажут, какие аналитические навыки (прогнозирование, когорты, воронки) действительно нужны Вашим коллегам.

Эта статья была написана Клементом Пэном и Лили Чжао, членами команды Anthropic по науке о данных и инженерии данных, при участии Джоша Черри и Майкла Сегнера.