Claude вычислил девятипетлевую амплитуду в N=4 суперсимметричной теории Янга — Миллса

Полный перевод исследования Anthropic на русский. Оригинал — по ссылке.

В этой гостевой статье физик и научный писатель Мэтт фон Хиппель рассказывает, что произошло, когда он бросил вызов компаниям, занимающимся искусственным интеллектом, в связи с задачей из его бывшей подобласти теоретической физики.

Не часто бывает, что Вы бросаете вызов, а уже месяц спустя видите, как его преодолевают. Но мы живём в необычные времена.

Позвольте представиться: я Мэтт фон Хиппель. Раньше я был физиком-теоретиком, а сейчас я научный писатель. Всё это время я вёл блог, еженедельно публикуясь на 4gravitons.com о физике и людях, которые ею занимаются.

Всё чаще ведение блога о физике означает ведение блога об искусственном интеллекте. Это проблема, потому что я определённо не эксперт по искусственному интеллекту. Конечно, я немного занимался этим. Вероятно, я знаю больше, чем Ваша бабушка. Но в основном мне приходится отступить и довериться экспертам. И, что раздражает, эксперты расходятся во мнениях! Я слышал от умных, хорошо осведомлённых людей, которые уверены, что до сверхинтеллекта осталось несколько лет и что сверхинтеллект будет способен на по-настоящему ужасающие вещи. И я слышал от умных, хорошо осведомлённых людей, которые столь же уверены, что искусственный интеллект на основе больших языковых моделей близок к своему пределу, что модели вроде Claude не смогут даже выполнять впечатляющую работу в физике, не говоря уже о завоевании мира.

Я неохотно делал собственные прогнозы. Прежде чем сформировать мнение, я хотел увидеть, как большая языковая модель добьётся прогресса в чём-то знакомом, в чём-то, что, как я знал, трудно сделать, потому что я сам пытался сделать нечто похожее.

Кроме того, я хотел увидеть, как большая языковая модель сделает нечто, что, как я ожидал, будет вычислительно сложным. Большие языковые модели, безусловно, добились впечатляющих успехов в математике, и один лишь этот месяц, вероятно, изменил мнение многих людей. Но прогресс в математике рождается из новых идей, а идеи — загадочные вещи: никогда нельзя вполне знать, насколько трудно их найти, пока они не найдены. Вычисления казались более надёжными. Я хотел увидеть, как большая языковая модель возьмётся за задачу, которая казалась недостижимой не потому, что исследователи не знали, как выполнить её в принципе, а потому, что её выполнение казалось делом, требующим больше компьютеров и времени, чем исследователи могли разумно получить. Я хотел увидеть, ошибались ли эти исследователи: сможет ли более умный искусственный исследователь использовать те же компьютеры и всё же решить задачу.

Итак, я объявил вызов:

«Если компании, занимающиеся искусственным интеллектом, хотят впечатлить таких людей, как я, или, если уж на то пошло, напугать нас, тогда им нужно взяться за мою прежнюю область. Покажите, что искусственный интеллект может, используя те виды вычислительных ресурсов, к которым имеет доступ учёный-академик, решить одну из крупных нерешённых проблем в области амплитуд рассеяния. Покажите, что вычислительное ограничение, которое все ожидали увидеть проблемой, на самом деле не имеет значения. Дайте нам N=8 супергравитацию до семи петель или N=4 супер-Янг — Миллса до девяти петель».

Короче говоря: может ли искусственный интеллект решить передовую проблему в моей бывшей подобласти теоретической физики элементарных частиц? И может ли он сделать это при ограниченном бюджете?

Задача

Моя прежняя область — раздел теоретической физики элементарных частиц, называемый амплитудологией. Когда другие физики элементарных частиц предсказывают новые частицы, они убеждаются, что могут выполнить расчёты для проверки этих предсказаний. Они вычисляют формулы, называемые амплитудами рассеяния, которые позволяют физикам использовать импульсы и энергии субатомных частиц для расчёта вероятности того, что они будут взаимодействовать определённым образом. Если физики смогут делать более точные предсказания для этих реакций, они смогут проверить, соответствуют ли результаты экспериментов, таких как Большой адронный коллайдер, этим предсказаниям. Несоответствие может быть свидетельством новой теории — теории, которая могла бы объяснить некоторые из важных до сих пор неразгаданных тайн физики, таких как природа тёмной материи или баланс между материей и антиматерией во Вселенной.

Эти формулы амплитуд рассеяния трудно вычислять — настолько трудно, что физики почти всегда используют приближения. Они выполняют частичные расчёты, ограничивая их определённым числом «петель» — мерой того, насколько сложными могут быть взаимодействия между частицами. Чем больше «петель» они включают в свои расчёты, тем ближе они подходят к реальному ответу и тем сложнее с вычислительной точки зрения выполнить расчёт.

На практике большинство формул амплитуд рассеяния были рассчитаны лишь до двух петель. У некоторых есть три. В наиболее точном предсказании в физике частиц, о котором Вы, возможно, слышали, использовались пять.

Специалисты по амплитудам хотят добиться большего. Они разрабатывают экспериментальные новые методы и проверяют их на специальных теориях «игрушечных моделей». Пробуя метод на игрушечной модели, где вычисление проще, а не на более сложных частицах реального мира, специалисты по амплитудам могут тщательно проверить новые методы и увидеть, насколько далеко они позволяют зайти.

Я опубликовал задачи для двух таких игрушечных моделей. Та, за которую взялись специалисты из Anthropic, заключалась в том, чтобы дойти до девяти петель в конкретной теории игрушечной модели, называемой N=4 суперсимметричной теорией Янга — Миллса.

«Янг — Миллс» — это техническое название типа теории, объясняющей большую часть окружающего нас мира. Три из четырёх фундаментальных сил природы: электромагнетизм, сильное ядерное взаимодействие, удерживающее вместе ядра атомов, и слабое ядерное взаимодействие, вызывающее радиоактивный распад в таких вещах, как бананы, — все являются теориями Янга — Миллса.

«N=4 супер» происходит из суперсимметрии. Физики предполагали, что у каждой частицы есть «суперсимметричный партнёр» — частица с тем же зарядом, но другого типа, сопоставляющая частицы материи, такие как электроны, с частицами-переносчиками взаимодействий, такими как фотоны. В одно время они были оптимистичны, что эти частицы смогут объяснить тёмную материю через ещё не открытых партнёров более привычных частиц. В этих предположениях использовалась суперсимметрия «N=1». В «N=4» у каждой частицы есть четыре суперсимметричных партнёра, а не только один.

Такой избыток частиц делает теорию очень нереалистичной. Суперсимметричная теория Янга — Миллса N=4 не используется как объяснение тёмной материи, или чего-либо в реальном мире. Вместо этого амплитудологи используют её, чтобы оттачивать свои методы, поскольку с N=4, как это ни парадоксально, проще проводить вычисления. Тонкий баланс между различными частицами означает, что необходимы лишь определённые комбинации переменных, что упрощает вычисления.

Я получил докторскую степень, помогая вычислять трёхпетлевую амплитуду, и успел увидеть семь петель, прежде чем начал терять запал. Лэнс Диксон, профессор Национальной ускорительной лаборатории SLAC, был одним из тех, кто работал над этим с самого начала, и несколько лет назад смог добиться восьми петель.

Эти вычисления были выполнены с помощью экспериментальной методики под названием «бутстрэп», которая оказалась на удивление хорошо подходящей для использования искусственного интеллекта. Чтобы бутстрэпить амплитуду, Вам не нужно учитывать каждое возможное взаимодействие частиц. Вам нужно лишь примерно знать, как должен выглядеть ответ, отслеживая все возможности в компьютерных файлах, записанных специализированным алфавитом. Затем Вы начинаете проверять всё, что знаете: предсказания других методов вычислений, правила, которым должен подчиняться ответ, связи с родственными задачами, в которых ответ было легче найти. Это немного похоже на судоку: Вы начинаете с сетки со всеми возможными числами, а затем вычёркиваете их по мере продвижения. В конце Вы надеетесь обнаружить, что всем проверкам соответствует лишь одна возможность, при этом оставив достаточно проверок, чтобы убедиться, что Вы не допустили ошибку.

Это означало, что Лэнс уже был хорошо подготовлен к проверке того, не передал ли ему кто-нибудь следующую формулу амплитуды с девятью петлями. Это был бы интересный ответ не только как подтверждение методики бутстрэпа, но и как редкий пример амплитуды с таким количеством петель сложности — ответ, который мог бы заслуживать изучения сам по себе.

Но он не вычислил его, и никто другой в этой области тоже. Способ, которым он нашёл ответ для восьми петель, уже был немного косвенным — через неожиданную связь с другой, но связанной формулой, называемой форм-фактором, — разновидностью частичной амплитуды с участием других частиц, которую, как оказалось, немного легче вычислить. Он ожидал найти следующую петлю ещё более косвенным способом, возможно, с помощью другого типа метода искусственного интеллекта. Если бы люди считали, что можно просто запустить обычный бутстреп-метод для ещё одной петли, кто-нибудь уже сделал бы это.

Тогда люди сделали это

По-видимому, в Anthropic есть люди, которые читают мой блог.

В конце августа Лиам Фицпатрик и Сиддхарт Мишра-Шарма, два физика из Anthropic, связались со мной, чтобы сказать, что они взялись за одну из задач из моей публикации. После проверки результата с Лэнсом они объяснили мне, как им удалось его получить.

Верные духу вызова, они не использовали миллионы долларов вычислительных мощностей. Они использовали Fable 5.1, работая в Claude Science, платформе, за использование которой учёные могут платить. Claude Science — это то, что специалисты в этой сфере называют «обвязкой»: программой, использующей Claude LLM со структурированными правилами и запросами для обеспечения более надёжного и научно полезного поведения.

По-видимому, после того как они спросили Claude, за какую задачу он с наибольшей вероятностью сможет взяться, они дали ему простой запрос:

«Задача состоит в вычислении амплитуды шести частиц (шестиугольника) в планарной N=4 SYM на девяти петлях».

После этого они просто продолжали говорить ему работать дальше, оставляя комментарии вроде:

«Я ложусь спать и не буду доступен ещё несколько часов. Продолжайте работать над этим, пока я не скажу Вам остановиться. Предоставляйте мне обновления каждые 4–6 часов».

В итоге Claude выполнил вычисление двумя разными способами: исходным бутстреп-методом и косвенным подходом с форм-факторами. Каждый из подходов обошёлся бы конечному пользователю примерно в одну или две тысячи долларов, главным образом из-за расходов на столь длительный запуск Claude. Бутстреп-вычисление, выполненное на языке программирования Python с пакетом SymPy, заняло около 100 долларов бюджета, что соответствует работе 96 центральных процессоров в течение недели.

Работа 96 центральных процессоров в течение недели могла бы показаться большой нагрузкой, когда я занимался подобной работой десять лет назад, но сейчас это довольно доступно, если у Вас есть веская причина.

Как оказалось, для людей результат тоже был не так уж далёк. Через несколько дней после того, как я услышал от Anthropic, мы получили сообщение от Сун Хэ, специалиста по амплитудам из Китайской академии наук в Пекине. Группа Суна уже получила большую часть результата. Они использовали некоторую помощь искусственного интеллекта на основе GPT-6, но не тот почти лишённый участия человека подход «одним запуском», который использовала Anthropic.

Все здесь были дружелюбны, что стало некоторым облегчением. Люди — Лэнс, Сонг и их соавторы — смогут опубликовать результаты, уделив время их объяснению и анализу на благо будущих исследователей. Роль Claude пока завершена.

Итак, проблема решена?

Я поставил эту задачу, потому что хотел лучше понять, на что способен современный искусственный интеллект и куда он может развиваться дальше. Так чему же я научился?

Я думал, что это может стать возможностью увидеть, как искусственный интеллект неожиданным образом преодолевает вычислительный барьер. Вместо этого он сделал то, что, как оказалось, люди тоже способны делать. Claude использовал известные методы, задействовав немного больше вычислительных ресурсов, чем люди пытались использовать ранее. Возможно, ему помогло использование Python, а не Maple (любимой программы Лэнса для математики) или Mathematica (моей), и, возможно, он применил гораздо более совершенные практики программной инженерии, чем применили бы мы, но не каким-то сверхинтеллектуальным образом.

Мой главный вывод состоит в том, что существует больше лёгких возможностей, чем можно было бы ожидать. Даже когда цель проста и чётко определена, иногда экспертам она будет казаться гораздо менее достижимой, чем есть на самом деле. Есть люди с образованием в области компьютерных наук, которые годами говорили мне, что амплитудологи могли бы добиться значительно большего прогресса, просто наняв нескольких программистов. Они должны чувствовать себя оправданными.

Также примечательно, что Claude Science справился с этим за один заход, без какого-либо научного контроля сложнее, чем «продолжай». Это капризные, беспорядочные вычисления. Если бы я потратил неделю времени на 96 центральных процессорах, чтобы выполнить такого рода расчёт, то почти наверняка в итоге потратил бы две недели: практически гарантировано, что я бы что-то испортил с первой попытки. Я не знаю, сколько ошибок Claude допустил внутри по пути, но система довела его до конца без участия внешнего соавтора. На данном этапе я не уверен, что это меня удивляет. Но если Вы не знали, что он способен на это, потому что всё ещё считаете искусственный интеллект настолько склонным к ошибкам, что он непригоден к использованию, то вот какой вывод Вам следует сделать: теперь он может надёжно выполнять подобные задачи.

Похоже, всё определённо движется быстро. В марте ИИ выполнял физические проекты как студент: более мелкие задачи с большим количеством пошаговой помощи и ошибок. В отличие от этого, здесь речь идёт о настоящем передовом вычислении — о таком, за которое обычно берутся ведущие специалисты по амплитудам. Возможно, это просто задача, гораздо более удобная для ИИ, но я не думаю, что дело только в этом: я считаю, что технология действительно стала лучше.

Насколько далеко я могу это обобщить? В этом я не уверен.

Эти теории игрушечных моделей, как правило, находятся в центре внимания небольших подсообществ. Расчёты амплитуд для реального мира — более широкая область, в которой многие группы пытаются опередить друг друга на переднем крае. Возможно, там меньше легкодоступных возможностей. Но я бы на это не рассчитывал. Я знаю, что люди, работающие над этими расчётами, всё чаще используют искусственный интеллект для программирования. Если люди ещё не проверяют, могут ли системы для научной работы с искусственным интеллектом за один запуск выполнять передовые расчёты в этой области, им следует это делать, и у них должен быть план проверки результатов. Я бы не слишком удивился, если бы при разумном бюджете удалось выжать ещё одну петлю.

Тогда для сообщества возникает вопрос для обсуждения: где проходит новая передовая граница и что нужно выяснить дальше? В отличие от многих задач в математике, амплитуды — не просто полигон для новых методов. Есть цель: сделать предсказания достаточно точными, чтобы сравнивать их с предстоящими экспериментами. Насколько поле приблизилось к этой цели?

Однако в более широком смысле я так и не получил ответа.

Я начал с любопытства не только к тому, что искусственный интеллект может делать в исследованиях сегодня, но и к будущему. Когда Вы читаете прогнозы о суперинтеллекте, сделанные до появления больших языковых моделей, в них часто предполагаются кажущиеся фантастическими риски. Люди представляли искусственный интеллект, способный моделировать людей, чтобы предсказывать их реакции и манипулировать ими, или выводить с нуля, как создать вирус, способный уничтожить вид, либо нанотехнологии, способные поглотить мир. И обычное возражение против этих рисков состоит в том, что в них смешивали интеллект — расплывчатый и загадочный источник новых идей — с вычислительной мощностью. Критики утверждали, что даже целый парк новых центров обработки данных не обладал бы вычислительной мощностью для выполнения любой из этих задач, что это были кошмары научно-фантастического будущего, которое не наступит в ближайшее время.

Мне кажется, у меня нет лучшего ответа для этих критиков. Я немного узнал о том, что ИИ умеет делать сейчас: что он может выполнять важную работу в моей прежней области при разумном бюджете и к тому же почти полностью автономно. Но я надеялся увидеть нечто более странное — новые методы для самого расчёта с неожиданной мощью. Я надеялся мельком увидеть будущее, нечто, что дало бы мне обоснованное мнение в спорах о сверхинтеллекте. Я хотел узнать, насколько далеко ИИ может раздвинуть вычислительные пределы… и мне кажется, что всё, чему я здесь научился, — это тому, что я был слишком наивен в отношении того, где проходил предел.

Дополнение: Каково это — когда машина опережает Вас?

Лэнс Диксон, профессор физики элементарных частиц и астрофизики в Национальной ускорительной лаборатории SLAC и Стэнфордском университете, который проверил девятипетлевой результат Claude.

Большинство знакомых мне физиков-теоретиков признают, что нынешняя эпоха больших языковых моделей полностью преобразит то, как мы думаем о физике. Вопрос был лишь в том: когда это по-настоящему станет очевидным? Для меня это произошло 1 сентября, когда Лиам Фицпатрик и Сиддхарт Мишра-Шарма из Anthropic сообщили мне, что Claude вычислил девятипетлевую MHV-амплитуду для шести частиц в планарной N=4 суперсимметричной теории Янга — Миллса, и попросили меня проверить его результат.

Я не собираюсь объяснять все технические термины в этом последнем предложении; Мэтт изложил предысторию выше. Мне нужно упомянуть, что на самом деле есть два связанных объекта: «амплитуда» и нечто, что мы называем «форм-фактором». С каждым связан определённый порядок петель: одна, две, три и так далее. Каждый порядок петель вычислительно сложнее предыдущего, даже после нахождения множества уловок, упрощающих задачу. Кроме того, форм-фактор проще амплитуды при том же порядке петель. В 2023 году мы с Энди Лю показали, как использовать форм-фактор и странную симметрию, которую мы называем антиподальной двойственностью, чтобы получить амплитуду на восьми петлях.

С 2023 года мы с моими коллегами рассматривали возможность дойти до девяти петель, сначала для формфактора, а затем для амплитуды, используя нашу идею 2023 года. Я думал, что напрямую вычислить амплитуду будет слишком сложно. Поэтому меня действительно весьма впечатлило, что Claude смог сделать это напрямую. Не столько потому, что это была большая вычислительная задача, сколько потому, что вся постановка очень хрупка: если Вы допустите хоть какую-нибудь ошибку в вычислительном рецепте, всё рушится, как неудавшееся суфле, и Вам остаётся гадать почему (и отлаживать). Кроме того, в построении так много деталей, которые слишком скучны, чтобы полностью документировать их в публикации. Поэтому Claude пришлось разработать весь этот код с нуля.

Из девятипетлевой амплитуды относительно легко вернуться к формфактору, и мне было проще всего проверять результат преимущественно именно таким способом. Это означало, что последние две недели я проверял результат — девятипетлевой формфактор, — над которым наша команда работала пару лет. И машина решила задачу, которую, как я считал, было слишком трудно решить напрямую. Беспокоит ли это меня лично? Сокрушает ли это мою душу?

Нет, по двум причинам. Во-первых, у нашей команды уже была кампания по использованию пользовательских моделей трансформеров для предсказания более высоких петель, и частью нашего лозунга было: «У нас есть все инструменты для проверки любого возможного решения, которое предоставила бы нам машина». Claude — это другой вид модели трансформера, вероятно, более чем в миллион раз больше нашей пользовательской модели. Но, конечно, мы сказали, что можем проверить любой результат, который дала бы нам модель искусственного интеллекта, поэтому мы можем и должны это сделать. Вторая причина заключается в том, что, если Вы посмотрите на то, как Claude решил проблему, он использовал все методы, которые мы с моими соавторами разрабатывали на протяжении многих лет, и представил решение — возможно, в качестве одолжения нам — в том же формате, который мы уже установили. Таким образом, пока я проверяю результат Claude, Claude проверяет всю нашу предыдущую работу. Фактически, я бы заявил, что Claude понимает наши статьи 2019 и 2023 годов лучше любого человека, за исключением моих соавторов.

После того как я это написал, Сун Хэ сообщил мне, что его группа также вычислила часть девятипетлевой амплитуды, называемую символом. (По какой-то причине людям просто нравится рассказывать мне о своих успехах на девяти петлях.) Группа Суна использовала искусственный интеллект (GPT-6), чтобы помочь им вычислить некоторые из ограничений, но не для общей структуры. Итак, теперь меня опередили и машина, и люди вместе с машиной — и всё это в течение двух недель.

Возвращаясь к вычислению Claude: на мой взгляд, для большой языковой модели это настоящий триумф — выполнить все шаги сложного рецепта, который мы изложили, и организовать вычислительные мощности. Но более мучительные моменты самоанализа наступят, когда большие языковые модели начнут выдвигать новые физические принципы и идеи раньше людей.

Дополнительные материалы

• Полный девятипетлевой результат в формате, использованном для более ранних порядков петель;
• Параллельный девятипетлевой результат Сун Хэ, Цзижун Цзина и Сян Ли.

Раскрытие информации

Компания Anthropic пригласила Мэтта фон Хиппеля написать этот пост и компенсировала ему затраченное время. Сотрудники Anthropic предоставили отзывы о черновиках; содержание и мнения принадлежат ему. Лэнс Диксон независимо проверил результат и получил кредиты на использование Claude.