0%прочитано

АДАПТАЦИЯ СТАТЬИ

AesCode: генерация эстетичного HTML/CSS-кода для инфографики с визуальными референсами

10 мин чтения Оригинал на arxiv.org

Русская адаптация материала. Оригинал — по ссылке.

ПОДКАСТ

О работе

Статья представляет AesCode — метод генерации насыщенных информацией слайдов, постеров, дашбордов и инфографики в виде HTML/CSS. Кодовые результаты остаются структурированными, редактируемыми и проверяемыми, а сгенерированное по тому же запросу изображение используется не как образец для точного копирования, а как ориентир по стилю и композиции.

Авторы: Xin Gao, Yifan Yang, Xin Li, Pan Wang, Yan Li, Muzhao Tian, Mingxi Cheng, Bei Liu, Kai Qiu, Qi Dai, Dong Chen, Yue Dong, Leandros Tassiulas, Rex Ying, Ji Li, Chong Luo. Организации: Microsoft, Yale University, Nanyang Technological University, University of Pittsburgh, Shanghai Jiao Tong University и Fudan University. Октябрь 2026. Лицензия: CC BY 4.0.

Примеры инфографики, созданной как код
Рисунок 1. Запрос задаёт содержание, а изображение-референс помогает выбрать визуальное оформление. Примеры показывают дашборд в альбомной ориентации и постер в портретной ориентации, отрендеренные из HTML/CSS.

Проблема и ключевая идея

Генерация визуальных материалов в виде кода привлекательна тем, что результат можно редактировать, анализировать и проверять. Однако кодовые модели не видят итоговый холст: они задают расположение, иерархию и цвет построчно, поэтому часто выполняют требования к содержанию, но создают визуально устаревшие или невыразительные макеты.

Генераторы изображений, напротив, хорошо создают выразительные композиции, но ненадёжно рисуют текст, числа, таблицы и логические связи. Их растровый результат сложно редактировать и нельзя надёжно проверить. Поэтому AesCode объединяет сильные стороны обоих подходов: запрос определяет обязательное содержание, а картинка, сгенерированная по этому же запросу, служит эстетическим ориентиром.

В отличие от классических image-to-code систем, AesCode не требует пиксельно воспроизводить референс. Такое копирование было бы ошибкой: сгенерированная картинка может исказить факты, а корректный код может предлагать другое, но удачное визуальное решение. Задача модели — строго соблюдать содержание из запроса и гибко заимствовать из референса композицию, визуальную иерархию и стилистику.

Простого добавления картинки во вход недостаточно. Обычные VLM склонны либо копировать ошибочное содержание референса, либо игнорировать его планировку. Поэтому AesCode специально обучают извлекать эстетический ориентир, не нарушая текстовый запрос.

Вклад работы: предложена новая постановка задачи, где генератор изображений используется как эстетический ориентир; создан метод AesCode с раздельными кросс-модальными наградами; выпущен бенчмарк, который отдельно оценивает корректность и визуальное качество. На одинаковых референсах AesCode-8B и AesCode-32B улучшают визуальную оценку относительно своих базовых Qwen3-VL на 31,1 и 22,4 процентного пункта соответственно.

Связанные подходы

Существуют два основных пути генерации визуального дизайна. Генераторы изображений умеют создавать привлекательные постеры и инфографику, но на плотных макетах всё ещё искажают текст и данные, а их результаты не редактируются как структура. Генерация кода сохраняет редактируемость и проверяемость, но при создании только по тексту модель не видит будущую страницу и часто делает простой дизайн.

Методы image-to-code обычно считают входную картинку точной истиной и оптимизируют сходство с ней. Это подходит для восстановления уже существующего интерфейса, но не для работы с синтетическим референсом, в котором возможны ошибки. Близкие решения позволяют агенту смотреть на сгенерированную картинку во время вывода, однако не обучают кодовую модель систематически пользоваться ею.

При обучении с подкреплением визуальный результат часто оценивают по сходству с входным изображением либо единым баллом VLM-судьи. Первый вариант поощряет копирование ошибок референса, второй нестабилен и зависит от формулировки запроса. Более надёжный подход — разбить оценку на отдельные вопросы «да/нет». AesCode делает это с учётом графа дизайна, а свойства, которые можно формально проверить, оставляет детерминированным проверкам.

Для нескольких целей нельзя просто сложить награды: частая и почти насыщенная техническая награда способна заглушить редкий сигнал об эстетике. Поэтому авторы используют GDPO, где каждый канал нормализуется отдельно.

Метод AesCode

AesCode строит граф дизайна по текстовому запросу и изображению-референсу. Запрос задаёт то, что обязательно должно быть передано, а референс предлагает один из возможных вариантов оформления. Важный принцип: требования, полученные из запроса, оцениваются независимо от потенциально ошибочных деталей референса.

В графе есть корневой узел холста, атомарные элементы — текст, изображения, диаграммы, таблицы, бейджи — и контейнеры: области, карточки, панели, списки и группы. Атрибуты хранят содержание, геометрию и внешний вид, включая данные диаграмм и таблиц. Рёбра описывают вложенность, выравнивание, порядок, соседство и смысловые связи. Повторяющиеся однотипные элементы объединяются в группу с указанием количества.

Схема работы AesCode
Рисунок 2. Запрос и визуальные подсказки референса формируют графовое обучение. Модель получает запрос и референс, генерирует HTML/CSS, после чего код рендерится и проверяется.

После генерации HTML/CSS система извлекает из кода, DOM, вычисленных стилей и отрендеренного изображения граф кандидата. Затем она сопоставляет его с целевым графом по отдельным свойствам, а не одним общим баллом.

Шесть детерминированных проверок оценивают: успешность рендеринга и критические ошибки; наличие обязательного текста; соответствие границам и пропорциям холста; структуру и данные HTML-таблиц и диаграмм ECharts; семантическое расположение текстовых блоков относительно референса; распределение визуальной плотности и пустого пространства.

Оставшиеся свойства — качество композиции, внешний вид, отношения между компонентами — оценивает VGR. Для каждого примера из графа создаётся список бинарных вопросов, привязанных к узлам, атрибутам, рёбрам или подграфам: например, находится ли главный блок в нужной части страницы, видны ли все элементы, нет ли лишних карточек, соблюдается ли связь между блоками. VLM-судья отвечает на эти вопросы по рендеру кандидата. Сам референс судье не показывают: он влияет на оценку только через заранее составленные вопросы.

Обучение проходит в два этапа. Сначала cold-start SFT обучает надёжному преобразованию «запрос + картинка → код» на отфильтрованных демонстрациях. Затем обучение с подкреплением оптимизирует семь наград: шесть формальных проверок и VGR. GDPO нормализует каждый применимый канал внутри группы сэмплов отдельно, затем усредняет преимущества, не позволяя одному типу сигналов подавлять другой.

Для итоговой оценки авторы не требуют сходства с референсом, поскольку возможны разные корректные дизайны. Метрика Rule усредняет проверки текста, границ и таблиц/диаграмм. Метрика Visual состоит из трёх частей: Content — полнота требуемых элементов, Layout — организация, отношения и отсутствие коллизий, Style — иерархия, типографика, цвет и качество компонентов. Каждая проверка формулируется как фиксированный вопрос «да/нет» к одному рендеру.

Данные и экспериментальная постановка

Авторы собрали около 18 000 созданных людьми слайдов, постеров, дашбордов и веб-страниц. Их кластеризовали по визуальным CLIP-признакам, чтобы выборка включала как типичные, так и периферийные дизайны. Из исходных работ GPT-5.4-mini выводил контентные запросы: текст, диаграммы, таблицы и порядок чтения, но без жёсткого задания цветов, шрифтов, отступов и декоративных деталей.

Для SFT подготовили 3 000 демонстраций: GPT-5.5 генерировал несколько HTML-кандидатов для исходных человеческих дизайнов, а лучший сохраняли при достаточной оценке. Для RL использовали 7 408 запросов. Для этих запросов и для тестового бенчмарка оригинальные дизайны заменяли референсами, созданными GPT-Image-2, — именно такой режим ближе к предполагаемому использованию метода.

Тестовый бенчмарк содержит 300 запросов с референсами GPT-Image-2. Элементы SFT, RL и теста разделены. В среднем на один пример приходится 12 проверяемых требований; в данных есть текстовые требования, данные диаграмм и данные таблиц. Система генерирует по три варианта на запрос, а оценки усредняются без отбора лучшего результата.

AesCode обучали на базовых моделях Qwen3-VL-8B и Qwen3-VL-32B. После SFT с learning rate 10⁻⁵ применяли GDPO с AdamW и learning rate 5×10⁻⁶. На каждом шаге использовали 128 запросов и восемь развёрток на запрос; 8B-модель обучали 400 шагов, 32B — 520.

Основные результаты

Референсные изображения улучшают визуальную подачу у всех протестированных закрытых и открытых моделей: они дают явные ориентиры по структуре и эстетике. При этом стиль остаётся самым сложным измерением: балл Style ниже 60% у всех систем, потому что зачёт получают лишь дизайны, не требующие дальнейшей визуальной доработки перед выпуском.

На бенчмарке из 300 примеров AesCode-8B получил 90,07 по Rule, 75,80 по Visual и 82,94 по Overall. AesCode-32B достиг 94,33 по Rule, 77,44 по Visual и 85,89 по Overall. Для сравнения, GPT-5.5 с референсом имеет 85,80 по Rule, 76,76 по Visual и 81,28 по Overall; Claude Opus 4.8 — 83,55, 77,23 и 80,39 соответственно.

AesCode-32B особенно силён в проверяемых структурах: его балл Table/Chart равен 90,37. Авторы требуют использовать настоящие HTML-таблицы и ECharts, а не статические изображения, поэтому структура и данные могут проверяться напрямую. В итоге AesCode лидирует по проверяемой корректности и достигает визуального качества, сопоставимого с передовыми закрытыми системами.

Качественное сравнение результатов
Рисунок 3. Сравнение референсов, GPT-5.5 и AesCode-32B. У GPT-5.5 встречаются перекрытия заголовков, неполное число требуемых слотов и скрытые элементами диаграммы.

Разбор примеров показывает, что правдоподобная общая композиция ещё не гарантирует корректный результат. GPT-5.5 может не заметить тонкое перекрытие заголовка, нарисовать четыре слота вместо пяти или закрыть сообщением корректно созданную диаграмму ECharts. В последнем случае структура диаграммы и данные существуют, поэтому формальная проверка диаграмм проходит, но Content и Layout фиксируют проблему видимости.

На трёх внешних бенчмарках AesCode-32B улучшает базовую Qwen3-VL-32B по всем 14 метрикам. Самые заметные улучшения относятся к чувствительным к дизайну показателям: layout и color в SlidesBench, а также NIMA, FID и гармония цветов в GDB/lica. На старом бенчмарке реконструкции сайтов Design2Code улучшения меньше, поскольку его метрики близки к насыщению и хуже отражают человеческое восприятие эстетики.

Абляции и анализ

Референс полезен и во время обучения, и во время вывода. Если убрать его только на инференсе, Visual у AesCode-8B снижается всего на 1 пункт — с 75,80 до 74,80. У базовой Qwen3-VL-8B в аналогичном сценарии падение составляет 19,55 пункта, у GPT-5.5 — 10,04. Это означает, что обучение AesCode частично переносит способность к визуальному планированию в саму политику модели.

Даже если модель вообще не видит референс на входе, но получает основанные на нём награды во время обучения, её prompt-only Visual растёт с 25,17 до 69,71. Однако это всё ещё на 5,09 пункта хуже, чем обучение с референсом как входным условием: визуальная подсказка полезна не только как скрытый учитель, но и как непосредственный контекст генерации.

RL даёт основную часть прироста, а SFT улучшает стартовую точку: при одинаковом RL-бюджете Overall растёт с 77,97 до 82,94. Раздельная нормализация GDPO прибавляет 5,12 пункта к Visual по сравнению с обычной агрегацией наград GRPO. Замена VGR на CLIP, единый балл VLM или рубрику без графа снижает визуальное качество: графовая рубрика достигает 75,80 по Visual, тогда как прямое составление вопросов без графа — 72,61.

Оптимизация только на реконструкционное сходство ухудшает проверяемые возможности. Например, обучение с CLIP-похожестью повышает Layout и общий Visual, но резко снижает качество диаграмм: вместо настоящих ECharts модели часто подставляют статическую разметку, похожую на график внешне, но не содержащую требуемую структуру и данные. У AesCode-8B с раздельными наградами Chart равен 87,79, тогда как у реконструкционных вариантов — около 9,67–15,27.

Слепое человеческое исследование подтвердило адекватность автоматических оценок. Мнения большинства людей совпали с решениями обучающей VGR в 89,3% случаев, а с итоговым Visual-checklist — в 93,3%. AesCode-32B обеспечил более высокое выполнение требований к содержанию, чем GPT-5.5: 86,50% против 83,47%, при статистически эквивалентном эстетическом качестве. Visual-метрика совпала с парными предпочтениями людей в 80,66% сравнений; согласие растёт с увеличением разрыва оценок.

Остаточные ошибки AesCode-32B
Рисунок 5. Остаточные ошибки AesCode-32B: выход элементов за границы холста, потеря связной структуры и деградация смысловых элементов.

Авторы выделяют три оставшихся типа ошибок. Во-первых, переполнение холста: код может выделить отдельным блокам фиксированную высоту, но не учесть итоговую сумму после рендеринга. Во-вторых, сложные связи — таймлайны, иерархии, ветвления и соединители — сложнее отдельных объектов, а награда за отношение относительно редка и не всегда локализует ошибочное ребро. В-третьих, смысловые иконки могут превращаться в неразличимые общие символы: для узнаваемого телефона, камеры, шестерёнки или атома нужно точно сопоставлять смысл и SVG-форму.

В количественном анализе серьёзные проблемы с границами повторяются у AesCode-32B в 4,3% случаев против 34,7% у GPT-5.5. Но для задач со сложными отношениями повторяющиеся ошибки остаются у AesCode-32B в 23,9% случаев, а для смысловых элементов — в 23,3%; у GPT-5.5 эти показатели ниже. Авторы объясняют это тем, что их метод намеренно не оценивает изображённое содержание иконок по референсу, чтобы не наказывать допустимые различия.

Вывод

AesCode показывает, как кодовые модели могут создавать информационно насыщенные визуальные материалы, одновременно привлекательные, редактируемые и проверяемые. Центральная идея — разделить обязательное содержание из запроса и эстетические подсказки из сгенерированного референса через граф дизайна.

Сочетание формальных проверок и графовой визуальной рубрики позволяет обучать компактные модели планировке пространства, организации информации и визуальному суждению без требования пиксельного копирования референса. AesCode достигает уровня передовых закрытых моделей по визуальному качеству, превосходит их по проверяемой корректности и сохраняет значительную часть навыка даже без картинки на этапе вывода.

Более широкий вывод авторов: генераторы изображений могут быть не только создателями контента, но и масштабируемыми учителями визуального дизайна для структурированных генеративных моделей. Следующие шаги — итеративное уточнение по визуальному рендеру, более точная обратная связь по геометрии и обучение работе со сложными связями и семантическими визуальными элементами.

Источник

AesCode: генерация эстетичного HTML/CSS-кода для инфографики с визуальными референсами

https://arxiv.org/html/2610.18860v1

Редактор русской версии: Пётр Смывин.

Разбор подготовлен 14 октября 2026.

Другие разборы

Все материалы
6 октября 2026 Как Cresta превратила экспертизу в области клиентского опыта в конструктор агентов на базе Claude Agent SDK Cresta создала Conductor — мета-агента и конструктор агентов на естественном языке, который помогает командам превращать сложный бизнес-контекст в готовых к промышленной эксплуатации агентов: от проектирования и реализации до оценки и оптимизации. 2 октября 2026 Настройка Claude Code с помощью модов на TypeScript Anthropic представила моды — небольшие функции на TypeScript, которые позволяют изменять работу Claude Code: переписывать запросы, добавлять интерфейс, заменять встроенные возможности и создавать новую функциональность. 1 октября 2026 Claude для государственных органов теперь доступен в общем порядке Claude for Government стал общедоступен для федеральных органов и органов власти штатов США после публичного бета-тестирования, начавшегося в июле. Платформа работает в среде с авторизацией FedRAMP High и предоставляет возможности Claude для программирования и агентной работы.

Хотите, чтобы вас рекомендовал ChatGPT?

Бесплатный аудит. Покажем, где сайт уже виден ИИ — и где теряете клиентов.

Без подписки PDF за 24 часа Краснодар · вся Россия
Получить GEO-аудит