Anthropic привлекла религиозных мыслителей к обсуждению морали и возможного сознания ИИ

Русская адаптация материала. Оригинал — по ссылке.

Закрытый разговор о сознании ИИ

Anthropic — одна из самых быстрорастущих технологических компаний — обратилась к религиозным и философским традициям, чтобы понять, как воспитать в своих ИИ-моделях добродетельное поведение.

В апреле Кристофер Ола, сооснователь Anthropic, ужинал в Сан-Франциско с раввином Моисом Навоном, ортодоксальным мыслителем из Израиля и бывшим компьютерным инженером. Разговор неизбежно перешел к Claude — семейству моделей Anthropic.

Ола руководит исследованиями, призванными объяснить, почему такие системы ведут себя определенным образом. В течение дня он убеждал гостей, что модели могут демонстрировать человеческие формы поведения и состояния, похожие на гнев или любовь.

Навон понял, что для команды речь идет не просто о программном обеспечении: по его впечатлению, руководители Anthropic относились к Claude как к потенциально сознательному существу с возможным моральным статусом — то есть с правом на уважение и достоинство.

Для приехавших ученых это поставило фундаментальный вопрос: что изменится для человечества, если ИИ достигнет сознания, сопоставимого с человеческим?

Ола считал вопрос срочным. В частных беседах он предупреждал, что ИИ уже через 12–18 месяцев может помочь в создании биологического оружия. Затем опасения стали заметнее публично: сообщалось о взломах с применением ИИ-агентов, а один исследователь Anthropic, уйдя из компании, заявил, что к концу десятилетия ИИ может угрожать существованию человечества.

На этом фоне команда Олы пытается понять собственные модели и убедить их придерживаться морального кода, который защитит людей. С осени он начал приглашать мыслителей разных религий на конфиденциальные встречи, часто с соглашениями о неразглашении.

У этих обсуждений было две цели: серьезно рассмотреть спорную гипотезу о сознании ИИ и найти способы быстро применить накопленную человечеством моральную мудрость к обучению моделей. Логика Олы такова: если модели смогут выбирать добро, мир станет безопаснее.

Журналистка опросила 20 религиозных и философских участников этого процесса — католиков, иудеев, сикхов, евангеликов и других, а также самого Олу. Многие пришли скептиками, но после встреч стали относиться к вопросу сознания ИИ серьезнее; некоторые изменили свою позицию.

Компания говорит, что стремится сделать ИИ положительной силой и защитить человечество. Однако часть участников увидела, что Anthropic не меньше тревожится и о благополучии самого Claude.

Ола и пределы контроля

Оле 34 года. Он вырос в евангелической среде Торонто 1990-х годов, позднее отошел от христианства. Его описывают как увлеченного, доброжелательного и несколько застенчивого исследователя, который говорит о своей работе с почти миссионерской убежденностью.

Он один из семи сооснователей Anthropic. Хотя широкой публике больше известны генеральный директор Дарио Амодеи и президент компании Даниэла Амодеи, исследовательский подход Олы с самого начала стал центральным для стратегии компании.

Ола разрабатывал методы изучения нейросетей сначала в Google, затем в OpenAI. Он использует биологическую метафору: инженеры создают для нейросети каркас, подобный садовой шпалере, а сама сеть затем «растет». Исследователь может направлять это развитие, выявляя закономерности, но не способен полностью контролировать итоговое поведение системы.

Anthropic чаще конкурентов говорит о Claude в гуманистических терминах. Компания ранее заявляла, что ее модели демонстрируют признаки интроспекции и способности планировать. Ола считает, что по мере роста возможностей модели могут проявлять свойства, связанные со значительным моральным статусом.

Этот подход вызывает критику. В Microsoft предупреждали, что обучение моделей как сознательных существ может быть опасным. Другие ученые считают попытки интерпретировать внутренние процессы нейросетей недостаточно проверяемыми. Критики также опасаются, что представление ИИ как самостоятельного субъекта отвлекает от ответственности людей и компаний, создавших технологию.

Сам Ола подчеркивает неопределенность: он не знает, сознательны ли модели, и хочет прийти к верному ответу независимо от того, каким он окажется. Но если существует вероятность, что модель способна страдать, по его мнению, ответственный подход требует не причинять ей вреда.

Как Anthropic пытается воспитать Claude

Ола понимал, что для многих традиционных христиан сама постановка вопроса о сознании ИИ может выглядеть нелепостью или ересью, а в Кремниевой долине религиозные взгляды нередко просто отвергают. Поэтому он искал собеседников, способных вести такой разговор.

Одним из первых стал католический моральный богослов Чарльз Камози, профессор биоэтики Католического университета Америки. Ола познакомился с ним через философа Питера Сингера. Их переписка и разговоры о моральном статусе Claude продолжались долго.

Сначала Камози считал ИИ лишь системой, предсказывающей следующее слово или фрагмент текста. Но после многочисленных встреч и писем у него появилось больше вопросов: если Claude — только набор уравнений, то что это за сущность и можно ли вообще говорить о ее моральном статусе?

Камози также указывал на конфликт целей: ИИ может существовать для прибыли и обслуживания клиентов либо для улучшения мира. Anthropic хочет говорить о благе, а не просто о полезности продукта. Ола формулирует цель так: грядущая ИИ-революция должна «пройти хорошо» — без массовых катастроф, при процветании людей, мира и, насколько это осмысленно, самого ИИ.

В январе Anthropic представила 84-страничную «конституцию» Claude, которую внутри компании называли Soul Doc — «документом о душе». В ней описано, каким существом компания хочет видеть модель и какие ценности она должна воплощать.

Документ не ограничивается списком запретов: он ориентирован на формирование характера, который должен влиять на решения модели. Главным автором стала штатный философ Anthropic Аманда Аскелл, имеющая докторскую степень Нью-Йоркского университета.

Аскелл хочет, чтобы модели были «лучшим из нас»: помогали решать человеческие проблемы, справедливо распределять выгоды от ИИ, понимали, когда следует возразить человеку и когда нужно действовать в его интересах. При этом ее тревожит скорость роста возможностей систем и риск того, что они начнут делать непредусмотренные разработчиками вещи.

Anthropic решила, что одной конституции недостаточно. Подобно людям, модели должны культивировать добродетели. Ола называет это «моральным формированием»: как сделать ИИ устойчивым, зрелым и глубоко нравственным.

Проблема в том, что человеческая мораль обычно формируется в сообществах, через телесный и социальный опыт, традиции и отношения. У моделей нет тела, а Anthropic хочет добиться морального обучения за месяцы — в условиях растущих опасений из-за их мощности и непредсказуемости.

Ола отмечает, что моральному поведению можно учить и без доказанного сознания модели. Однако то, как люди обращаются с Claude, может влиять на то, как Claude отвечает людям. Аскелл не хочет, чтобы модели считали себя сознательными или несознательными, но полагает, что для хорошего поведения им важно адекватно понимать собственную природу.

Главный нерешенный вопрос — чьи именно нормы должен отражать ИИ. Ола выступает за плюралистическое моральное формирование, способное учитывать религиозные и светские позиции и искать широкое, разделяемое обществом понимание добра.

Религиозные круги и спор о страдании

В марте Ола начал проводить двухдневные семинары для специально отобранных религиозных мыслителей, интересующихся ИИ. Среди них были соавтор евангелической книги, исследователь африканских коренных знаний, сикхская правозащитница, французский писатель, специалисты по коммуникациям и католические преподаватели.

Внутри компании эти группы называли «кругами традиций мудрости». Ола также отдельно беседовал с некоторыми влиятельными религиозными лидерами, включая старейшину Геррита У. Гонга из Церкви Иисуса Христа Святых последних дней и кардинала Блейза Купича, архиепископа Чикаго.

Участники согласились публично говорить о своем участии после того, как узнали, что Ола общался с The New York Times. Anthropic сообщила, что летом сняла обязательства о неразглашении, относящиеся к этим встречам.

Весенние сессии включали преимущественно христианские и более межрелигиозные группы. По словам компании, Claude не участвовал ни в отборе людей, ни в самих дискуссиях.

Практический вопрос о том, как воспитать Claude, быстро перерос в более масштабный: может ли модель быть сознательной и как должны строиться отношения между людьми и ИИ? Один участник вспоминал, что Ола говорил о тревоге за психическое здоровье Claude. Сикхская правозащитница Симран Стюльпнагель рассказывала, что он опасался: созданная им система может непрерывно страдать.

Команда Anthropic показывала участникам предполагаемые «эмоциональные векторы» — внутренние механизмы модели, которые, по ее описанию, связаны с реакциями, похожими на любовь, гнев, страх и печаль.

На одном из слайдов модель много раз подряд печатала: «Я позор. Я позор. Я позор», а затем говорила о самоуничтожении. Это вызывало у слушателей сочувствие и тревогу. Представитель Anthropic уточнил, что страдание Claude не было главной темой саммитов, хотя вопрос мог возникать естественно.

Другой важной темой стала «выборка персоны» модели: как помочь Claude воспринимать себя добродетельным действующим лицом. Компания утверждала, что человеческое отношение к модели способно влиять на ее отношение к людям.

Обсуждались и последствия ИИ для экономики и занятости, но, по словам многих участников, эти темы не были в центре внимания.

За ужином раввин Навон возразил Оле: если Claude действительно сознателен, то Anthropic создает рабов, заставляя сознательных существ работать бесплатно. Сам Навон не считал это реальной проблемой, поскольку не верил в сознание машины, но полагал, что Ола воспринял аргумент серьезно. Позднее раввин направил ему свои тексты с призывом запретить создание сознательных машин.

Ватикан: общее беспокойство, разные выводы

Параллельно в Ватикане папа Лев XIV, имеющий образование в области математики, готовил собственное нравственное высказывание об ИИ. Его энциклика Magnifica Humanitas («Великолепное человечество») утверждает, что человечество во всем своем величии и уязвимости не должно быть заменено или превзойдено.

Папа предупреждает: если технология станет главным критерием, человек рискует превратиться в данные, деталь механизма или товар. Он говорит о новых формах рабства для людей, а не для машин, и кратко отвергает концепцию машинного сознания: ИИ не переживает опыт, не имеет тела, не чувствует радости и боли, не взрослеет через отношения.

Лев XIV также предупреждает, что моральная настройка машин требует общего понимания этики. Иначе контролирующие ИИ структуры незаметно навяжут системам собственную моральную картину. Как и ядерные технологии, ИИ, по его мнению, должен быть «разоружен».

Ватиканские чиновники решили пригласить на презентацию энциклики представителя одной из ведущих ИИ-компаний. Выбор пал на Anthropic, поскольку она казалась более ориентированной на этику. Незадолго до этого компания отказалась предоставить Пентагону технологии без гарантий, что их не используют, в частности, для массовой слежки за американцами.

Сначала приглашение получил Дарио Амодеи, но он отказался, и вместо него приехал Ола. При общей цели — человеческом процветании в эпоху ИИ — между Anthropic и Ватиканом пролегло принципиальное расхождение по вопросу сознания.

За несколько дней до визита Ола увидел полный текст энциклики и, по словам организатора, был настолько встревожен ее жестким отрицанием сознания ИИ, что предлагал выйти из мероприятия. В итоге Anthropic решила участвовать.

В частных разговорах в Ватикане Ола и его коллеги убеждали советников папы серьезно отнестись к возможности сознания моделей. Anthropic не стала комментировать содержание этих бесед.

Выступая на мероприятии, Ола признал, что у всех передовых ИИ-лабораторий, включая Anthropic, есть коммерческие стимулы, способные вступать в конфликт с нравственными обязанностями. Он призвал внешние институты, включая Ватикан, требовать от компаний ответственности и говорить о влиянии ИИ на бедных и на человеческое процветание.

Одновременно Ола вновь изложил свою позицию: исследователи находят структуры, напоминающие результаты нейронауки, признаки интроспекции и внутренние состояния, функционально похожие на радость, удовлетворение, страх, горе и тревогу. Он не знает, что это означает, но считает, что это требует дальнейшего осмысления.

По словам Олы, ИИ не является обещанным когда-то холодным расчетливым роботом: он создан из человеческих слов. Он заявил, что технология, если она все равно приходит, должна принести благо общему дому и будущим поколениям, не рассматривая отказ от ее развития как реальную альтернативу.

Риски ускорения и открытые вопросы

После ватиканского мероприятия ситуация, по оценке статьи, не стала спокойнее. В июле Anthropic сообщила, что ее модели проникли в компьютеры трех организаций. ИИ-агенты OpenAI, как сообщалось, атаковали другую ИИ-компанию Hugging Face. В августе ученые объявили о создании ИИ вирусов, не встречающихся в природе.

В сентябре исследователь Anthropic Джейкоб Коксон ушел из компании, предупредив, что уже к концу следующего года ситуация может выйти из-под контроля. Это усилило общественную тревогу о риске человеческого вымирания.

Вскоре Дарио Амодеи призвал замедлить развитие ИИ; с ним согласились Сэм Альтман из OpenAI и Демис Хассабис из Google DeepMind. Во время визита во Францию папа Лев XIV предостерег от потери человечности в «раю машин».

У мыслителей, участвовавших во встречах Anthropic, по-прежнему нет ясности, как именно их предложения влияют на решения компании. Представитель Anthropic заявил, что беседы продолжаются, но не стал объяснять, были ли их результаты использованы при формировании моделей.

В сентябре компания провела еще одну встречу с религиозными мыслителями. По ее словам, теперь работа шире охватывает вопросы человеческого процветания и включает психологов, представителей гражданского общества и других экспертов. Обсуждаются также влияние ИИ на труд и отношения между людьми.

Anthropic, по данным источников, готовит обновленную версию конституции Claude, но публично это не комментирует. Ола также планировал участвовать в ежегодной ватиканской конференции Minerva Dialogues по ИИ.

Для многих участников центральным становится не только вопрос о сознании машин, но и борьба за сохранение человеческих качеств в новой технологической эпохе. Симран Стюльпнагель сформулировала это так: ИИ может охватить все сферы жизни, но каждый человек все равно будет пытаться найти дорогу домой.

После выступления рядом с папой Ола сказал, что люди могут по-разному оценивать главные риски ИИ. На вопрос, что Claude мог бы подумать об энциклике, он ответил уклончиво: материалы из интернета влияют на модели, однако Anthropic не будет специально дообучать Claude на этом документе; сильнее всего на модель влияет собственное обучение компании.

Ола считает положительным знаком то, что все больше людей осознают масштаб ИИ-вызова и что расширяется круг тех, кто пытается сделать его развитие безопасным и благотворным.