ST-Net: Самодвижущаяся архитектура для неконтролируемого синтеза гармонирующей одежды

Содержание

1. Введение

Синтез гармонирующей одежды (СГО) — ключевая задача в ИИ-ориентированной модной индустрии, направленная на генерацию предмета одежды, стилистически совместимого с заданным исходным предметом (например, создание подходящих брюк к заданной блузке). Традиционные методы в значительной степени зависят от курируемых наборов парных комплектов, создание которых трудоёмко, дорого и требует экспертных знаний в моде. В данной статье представлена ST-Net (Генеративная сеть, управляемая стилем и текстурой) — новая самодвижущаяся архитектура, исключающая необходимость в парных данных. Используя самообучение, ST-Net изучает правила стилистической совместимости непосредственно из атрибутов стиля и текстуры непарных изображений одежды, что представляет собой значительный шаг к более масштабируемому и эффективному с точки зрения данных модному ИИ.

2. Методология

2.1. Постановка задачи

Ключевая задача формулируется как неконтролируемая задача трансляции «изображение-в-изображение» (I2I) между двумя доменами: исходным (например, верхняя одежда) и целевым (например, нижняя одежда). В отличие от стандартных задач I2I (например, трансляция «лошадь-зебра» в CycleGAN), между верхом и низом нет пространственного соответствия. Совместимость определяется общими высокоуровневыми атрибутами, такими как стиль (например, деловой, повседневный) и текстура/узор (например, полоска, цветочный принт). Цель — изучить отображение $G: X \rightarrow Y$, которое для заданного предмета $x \in X$ генерирует совместимый предмет $\hat{y} = G(x) \in Y$.

2.2. Архитектура ST-Net

ST-Net построена на основе архитектуры генеративно-состязательной сети (GAN). Её ключевое нововведение — двухпутевой энкодер, который явно разделяет входное изображение на код стиля $s$ и код текстуры $t$.

• Энкодер стиля: Извлекает высокоуровневые, глобальные семантические признаки (например, «бохо», «минимализм»).
• Энкодер текстуры: Улавливает низкоуровневые, локальные признаки узора (например, клетка, горошек).

Затем генератор $G$ синтезирует новый предмет в целевом домене, рекомбинируя эти разделённые коды под управлением изученной функции совместимости. Дискриминатор $D$ обеспечивает реалистичность сгенерированных предметов и их принадлежность целевому домену.

2.3. Стратегия самообучения

Для обучения без парных данных ST-Net использует стратегию, вдохновлённую цикличной согласованностью, но адаптированную для совместимости на уровне атрибутов. Основная идея — перестановка и восстановление атрибутов. Для двух непарных предметов $(x_i, y_j)$ извлекаются их коды стиля и текстуры. «Виртуальная» совместимая пара создаётся, например, путём комбинирования стиля $x_i$ с текстурой из целевого домена. Сеть обучается восстанавливать исходные предметы из этих переставленных представлений, что заставляет её изучать содержательное и переносимое представление совместимости.

3. Технические детали

3.1. Математическая постановка

Пусть $E_s$ и $E_t$ — энкодеры стиля и текстуры, а $G$ — генератор. Для входного изображения $x$ имеем: $$s_x = E_s(x), \quad t_x = E_t(x)$$ Процесс генерации совместимого предмета $\hat{y}$: $$\hat{y} = G(s_x, t')$$ где $t'$ — код текстуры, который может быть сэмплирован, получен из другого предмета или изучен как преобразование $t_x$ для соответствия целевому домену.

3.2. Функции потерь

Общая функция потерь $\mathcal{L}_{total}$ представляет собой комбинацию нескольких целевых функций:

• Соcтязательная функция потерь ($\mathcal{L}_{adv}$): Стандартная функция потерь GAN, обеспечивающая реалистичность выходных данных. $$\min_G \max_D \mathbb{E}_{y \sim p_{data}(y)}[\log D(y)] + \mathbb{E}_{x \sim p_{data}(x)}[\log(1 - D(G(x)))]$$
• Функция потерь самовосстановления ($\mathcal{L}_{rec}$): Гарантирует, что энкодеры захватывают достаточную информацию. $$\mathcal{L}_{rec} = \|x - G(E_s(x), E_t(x))\|_1$$
• Функция потерь согласованности атрибутов ($\mathcal{L}_{attr}$): Ключевое нововведение. После перестановки атрибутов (например, использование стиля из $x$ и текстуры из случайного $y$) сеть должна быть способна восстановить исходный $y$, обеспечивая сохранение переставленного атрибута в сгенерированном предмете. $$\mathcal{L}_{attr} = \|y - G(E_s(x), E_t(y))\|_1$$
• Функция потерь дивергенции Кульбака-Лейблера ($\mathcal{L}_{KL}$): Побуждает разделённые латентные пространства (стиль/текстура) следовать априорному распределению (например, Гауссову), улучшая обобщающую способность.

$$\mathcal{L}_{total} = \lambda_{adv}\mathcal{L}_{adv} + \lambda_{rec}\mathcal{L}_{rec} + \lambda_{attr}\mathcal{L}_{attr} + \lambda_{KL}\mathcal{L}_{KL}$$

4. Эксперименты и результаты

4.1. Набор данных

Авторы создали крупномасштабный неконтролируемый набор данных для СГО из веб-источников, содержащий сотни тысяч непарных изображений верхней и нижней одежды. Это решает ключевую проблему данных в данной области.

4.2. Метрики оценки

Производительность оценивалась с использованием:

• Inception Score (IS) и Fréchet Inception Distance (FID): Стандартные метрики для оценки качества и разнообразия генерации изображений.
• Оценка модной совместимости (FCS): Обученная метрика или оценка людьми, определяющая, насколько хорошо сгенерированный предмет стилистически сочетается с исходным.
• Пользовательское исследование (A/B-тестирование): Человеческие оценщики предпочли результаты ST-Net по сравнению с базовыми методами с точки зрения совместимости и реалистичности.

4.3. Количественные и качественные результаты

Количественные: ST-Net достигла превосходных показателей FID и IS по сравнению с передовыми неконтролируемыми методами I2I, такими как CycleGAN и MUNIT, демонстрируя лучшее качество изображений. Она также значительно превзошла их по оценке модной совместимости (FCS).
Качественные: Визуальные результаты показывают, что ST-Net успешно генерирует низы, которые разделяют согласованные стили (например, бизнес-кэжуал) и текстуры (например, совпадающие полоски или цветовые палитры) с исходным верхом. В отличие от этого, базовые методы часто производили предметы, которые были реалистичными, но стилистически несочетаемыми или не передавали ключевые узоры.

5. Аналитическая структура и кейс-стади

Ключевое понимание: Настоящий прорыв статьи заключается не просто в очередном варианте GAN; это фундаментальный пересмотр проблемы «совместимости». Вместо того чтобы рассматривать её как трансляцию на уровне пикселей (что терпит неудачу из-за пространственного несоответствия), они переформулируют её как условную генерацию на уровне атрибутов. Это более разумный, более человеко-подобный подход к модному ИИ.

Логический поток: Логика элегантна: 1) Признать, что парные данные являются узким местом. 2) Определить, что совместимость определяют стиль/текстура, а не форма. 3) Спроектировать сеть, которая явно разделяет эти атрибуты. 4) Использовать самообучение (перестановку атрибутов) для изучения функции совместимости из непарных данных. Этот поток напрямую атакует основные ограничения проблемы.

Сильные стороны и недостатки:
Сильные стороны: Стратегия явного разделения интерпретируема и эффективна. Создание специального крупномасштабного набора данных является важным практическим вкладом. Метод более масштабируем, чем подходы, зависящие от пар.
Недостатки: В статье намекается, но полностью не решается проблема «неоднозначности стиля» — как определить и количественно оценить «стиль» за пределами текстуры? Оценка, хотя и улучшенная, всё ещё частично опирается на субъективные человеческие оценки. Метод может испытывать трудности с высокоабстрактными или авангардными переносами стиля, где правила совместимости менее определены.

Практические выводы: Для практиков: Эта архитектура является образцом для перехода от контролируемого модного ИИ. Приём самообучения с перестановкой атрибутов применим к другим областям, таким как дизайн мебельных гарнитуров или оформление интерьеров. Для исследователей: Следующий рубеж — интеграция мультимодальных сигналов (текстовых описаний стиля) и движение к полной генерации комплекта (аксессуары, обувь) с персонализацией при участии пользователя. Работа исследователей из Media Lab MIT по эстетическому интеллекту предлагает дополнительное направление для вычислительного определения стиля.

6. Будущие применения и направления

• Персонализированные модные ассистенты: Интеграция в платформы электронной коммерции для предложений «дополни образ» в реальном времени, что значительно увеличивает средний чек.
• Устойчивая мода и цифровое прототипирование: Дизайнеры могут быстро генерировать совместимые коллекции в цифровом виде, сокращая отходы от физического сэмплирования.
• Метавселенная и цифровая идентичность: Ключевая технология для создания целостных цифровых аватаров и нарядов в виртуальных мирах.
• Направления исследований:
  • Мультимодальное понимание стиля: Включение текста (отчёты о трендах, блоги о стиле) и социального контекста для уточнения кодов стиля.
  • Интеграция диффузионных моделей: Замена основы GAN на латентные диффузионные модели для повышения точности и разнообразия, следуя трендам, заданным такими моделями, как Stable Diffusion.
  • Интерактивная и управляемая генерация: Предоставление пользователям возможности настройки ползунков стиля («более формально», «добавить больше цвета») для тонкого контроля.
  • Межкатегорийный синтез полного комплекта: Расширение от верха/низа до включения верхней одежды, обуви и аксессуаров в единую согласованную архитектуру.

7. Ссылки

1. Dong, M., Zhou, D., Ma, J., & Zhang, H. (2023). Towards Intelligent Design: A Self-Driven Framework for Collocated Clothing Synthesis Leveraging Fashion Styles and Textures. Preprint.
2. Zhu, J.-Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. IEEE International Conference on Computer Vision (ICCV).
3. Huang, X., Liu, M.-Y., Belongie, S., & Kautz, J. (2018). Multimodal Unsupervised Image-to-Image Translation. European Conference on Computer Vision (ECCV).
4. Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).
5. Veit, A., Kovacs, B., Bell, S., McAuley, J., Bala, K., & Belongie, S. (2015). Learning Visual Clothing Style with Heterogeneous Dyadic Co-occurrences. IEEE International Conference on Computer Vision (ICCV).
6. MIT Media Lab. (n.d.). Aesthetics & Computation Group. Retrieved from media.mit.edu