DiffFashion: طراحی مد با آگاهی از ساختار به کمک مدل‌های انتشار

1. فهرست مطالب

• 1.1 مقدمه و مرور کلی
• 1.2 روش‌شناسی هسته
• 1.2.1 تفکیک ساختار با ماسک‌های معنایی
• 1.2.2 فرآیند حذف نویز هدایت‌شده
• 1.2.3 راهنمایی ترانسفورماتور بینایی (ViT)
• 1.3 جزئیات فنی و فرمول‌بندی ریاضی
• 1.4 نتایج آزمایشی و عملکرد
• 1.5 بینش‌های کلیدی و چارچوب تحلیلی
• 1.6 چشم‌انداز کاربردی و جهت‌های آینده
• 1.7 مراجع

1.1 مقدمه و مرور کلی

DiffFashion به یک وظیفه نوآورانه و چالش‌برانگیز در طراحی مد مبتنی بر هوش مصنوعی می‌پردازد: انتقال ظاهر از یک تصویر مرجع (که می‌تواند از حوزه غیرمد باشد) به یک تصویر لباس هدف، در حالی که ساختار اصلی لباس (مانند برش، درزها، چین‌ها) با دقت حفظ می‌شود. این امر با انتقال سبک عصبی سنتی (NST) یا وظایف ترجمه حوزه‌ای مانند آنچه CycleGAN انجام می‌دهد متفاوت است، جایی که حوزه‌های مبدأ و هدف اغلب از نظر معنایی مرتبط هستند (مانند اسب به گورخر). چالش اصلی در شکاف معنایی قابل توجه بین یک شیء مرجع (مانند یک پلنگ، یک نقاشی) و یک قطعه لباس، و عدم وجود داده‌های آموزشی جفتی برای خروجی طراحی شده نوآورانه نهفته است.

1.2 روش‌شناسی هسته

DiffFashion یک چارچوب مبتنی بر مدل انتشار و بدون نظارت است. این مدل به مجموعه داده‌های جفتی {لباس، مرجع، خروجی} نیاز ندارد. در عوض، از دانش پیشین مولد یک مدل انتشار از پیش آموزش‌دیده بهره می‌برد و مکانیسم‌های راهنمایی نوآورانه‌ای را برای کنترل جداگانه ساختار و ظاهر در طول فرآیند معکوس حذف نویز معرفی می‌کند.

1.2.1 تفکیک ساختار با ماسک‌های معنایی

مدل ابتدا به طور خودکار یک ماسک معنایی برای لباس پیش‌زمینه در تصویر هدف ایجاد می‌کند. این ماسک که اغلب از طریق یک مدل تقسیم‌بندی از پیش آموزش‌دیده (مانند U-Net یا Mask R-CNN) به دست می‌آید، به صراحت ناحیه‌ای را که انتقال ظاهر باید در آن رخ دهد تعریف می‌کند. این ماسک به عنوان یک محدودیت سخت عمل می‌کند و شکل لباس را از پس‌زمینه و بخش‌های نامربوط تصویر جدا می‌سازد.

1.2.2 فرآیند حذف نویز هدایت‌شده

فرآیند معکوس مدل انتشار، هم بر ساختار تصویر لباس هدف و هم بر ظاهر تصویر مرجع شرطی شده است. ماسک معنایی به عنوان راهنما تزریق می‌شود و اطمینان حاصل می‌کند که مراحل حذف نویز عمدتاً پیکسل‌های درون ناحیه ماسک‌شده را تغییر می‌دهند و در نتیجه ساختار کلی و جزئیات ریز (مانند شکل یقه، طول آستین) لباس اصلی را حفظ می‌کنند.

1.2.3 راهنمایی ترانسفورماتور بینایی (ViT)

یک ترانسفورماتور بینایی از پیش آموزش‌دیده (ViT) به عنوان استخراج‌کننده ویژگی برای ارائه راهنمایی معنایی استفاده می‌شود. ویژگی‌های تصویر مرجع (ظاهر) و تصویر لباس هدف (ساختار) استخراج شده و برای هدایت نمونه‌برداری انتشار به کار می‌روند. این امر به ترجمه الگوها و بافت‌های معنایی سطح بالا از مرجع به روی بوم لباس با ساختار صحیح کمک می‌کند، حتی در شکاف‌های بزرگ حوزه‌ای.

1.3 جزئیات فنی و فرمول‌بندی ریاضی

هسته DiffFashion در اصلاح فرآیند نمونه‌برداری استاندارد انتشار نهفته است. با توجه به یک بردار نویز $z_T$ و ورودی‌های شرطی، مدل هدف نمونه‌برداری از یک تصویر تمیز $x_0$ را دارد. مرحله حذف نویز در زمان $t$ توسط یک تابع امتیاز اصلاح‌شده هدایت می‌شود:

$\nabla_{x_t} \log p(x_t | c_s, c_a) \approx \nabla_{x_t} \log p(x_t) + \lambda_s \cdot \nabla_{x_t} \log p(c_s | x_t) + \lambda_a \cdot \nabla_{x_t} \log p(c_a | x_t)$

جایی که:
- $\nabla_{x_t} \log p(x_t)$ امتیاز غیرشرطی از مدل انتشار از پیش آموزش‌دیده است.
- $c_s$ شرط ساختار (مشتق شده از تصویر لباس هدف و ماسک آن) است.
- $c_a$ شرط ظاهر (مشتق شده از تصویر مرجع از طریق ویژگی‌های ViT) است.
- $\lambda_s$ و $\lambda_a$ پارامترهای مقیاس‌گذاری هستند که به ترتیب قدرت راهنمایی ساختار و ظاهر را کنترل می‌کنند.

راهنمایی ساختار $\nabla_{x_t} \log p(c_s | x_t)$ اغلب با مقایسه ناحیه ماسک‌شده نمونه نویزی فعلی $x_t$ با ساختار هدف پیاده‌سازی می‌شود و هم‌ترازی را تشویق می‌کند. راهنمایی ظاهر $\nabla_{x_t} \log p(c_a | x_t)$ با استفاده از یک متریک فاصله (مانند شباهت کسینوسی) در فضای ویژگی ViT بین تصویر مرجع و محتوای تصویر تولیدشده محاسبه می‌شود.

1.4 نتایج آزمایشی و عملکرد

مقاله نشان می‌دهد که DiffFashion از خطوط مبنای پیشرفته، از جمله روش‌های مبتنی بر GAN (مانند StyleGAN2 با نرمال‌سازی نمونه تطبیقی) و سایر مدل‌های ترجمه تصویر مبتنی بر انتشار، عملکرد بهتری دارد. معیارهای ارزیابی کلیدی احتمالاً شامل موارد زیر است:
- فاصله آغازین فرشه (FID): برای اندازه‌گیری واقع‌گرایی و تنوع تصاویر تولیدشده در مقایسه با یک مجموعه داده واقعی.
- LPIPS (شباهت وصله تصویر ادراکی یادگرفته‌شده): برای ارزیابی کیفیت ادراکی و وفاداری انتقال ظاهر.
- مطالعات کاربری: ارزیاب‌های انسانی احتمالاً خروجی‌های DiffFashion را از نظر حفظ ساختار و کیفیت زیبایی‌شناختی در مقایسه با سایر روش‌ها بالاتر رتبه‌بندی کرده‌اند.

توضیح نمودار (ضمنی): یک نمودار میله‌ای نشان می‌دهد که DiffFashion در مقایسه با خطوط مبنا مانند CycleGAN، DiffusionCLIP و Paint-by-Example، نمره FID پایین‌تری (نشان‌دهنده کیفیت بهتر) و نمره حفظ ساختار بالاتری (از مطالعات کاربری) به دست آورده است. یک شبکه شکل کیفی، نمونه ورودی‌ها را نشان می‌دهد: یک تی‌شرت ساده (هدف) و یک پوست پلنگ (مرجع). خروجی‌های DiffFashion یک تی‌شرت با طرح پلنگ واقع‌گرایانه و تغییرشکل‌یافته که چین‌های پیراهن را دنبال می‌کند نشان می‌دهد، در حالی که خروجی‌های مبنا ممکن است شکل پیراهن را تحریف کنند یا بافت را به طور غیرواقع‌گرایانه اعمال کنند.

1.5 بینش‌های کلیدی و چارچوب تحلیلی

1.6 چشم‌انداز کاربردی و جهت‌های آینده

کاربردهای فوری:

• مد دیجیتال و نمونه‌سازی: تجسم سریع مفاهیم طراحی برای تجارت الکترونیک، رسانه‌های اجتماعی و امتحان مجازی.
• طراحی پایدار: کاهش ضایعات نمونه‌سازی فیزیکی با اجازه دادن به طراحان برای آزمایش دیجیتالی با بافت‌ها و الگوهای بی‌پایان.
• مد شخصی‌سازی‌شده: توانمندسازی مصرف‌کنندگان برای «بازترکیب» لباس‌ها با تصاویر یا آثار هنری شخصی.

جهت‌های تحقیقاتی آینده:

• انتقال لباس سه بعدی: گسترش چارچوب برای کار مستقیم بر روی مش‌ها یا نقشه‌های UV لباس سه بعدی، فعال‌سازی طراحی سازگار چندنمایه واقعی.
• شرطی‌سازی چندوجهی: گنجاندن دستورات متنی در کنار تصاویر مرجع (مانند «یک پیراهن ابریشمی با الگوی شب پرستاره ون گوگ»).
• مدل‌سازی ویژگی‌های فیزیکی: فراتر رفتن از رنگ و بافت برای شبیه‌سازی تأثیر ماده منتقل‌شده بر افتادگی، سفتی و حرکت.
• پالایش تعاملی: توسعه رابط‌های کاربر-در-حلقه که در آن طراحان می‌توانند خط‌خطی‌های پراکنده یا اصلاحاتی را برای هدایت تکراری فرآیند انتشار ارائه دهند.

1.7 مراجع

1. Cao, S., Chai, W., Hao, S., Zhang, Y., Chen, H., & Wang, G. (2023). DiffFashion: Reference-based Fashion Design with Structure-aware Transfer by Diffusion Models. IEEE Conference.
2. Ho, J., Jain, A., & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. Advances in Neural Information Processing Systems.
3. Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.
4. Zhu, J.-Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. Proceedings of the IEEE International Conference on Computer Vision.
5. Dosovitskiy, A., et al. (2020). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. International Conference on Learning Representations.
6. Radford, A., et al. (2021). Learning Transferable Visual Models From Natural Language Supervision. International Conference on Machine Learning.
7. Kwon, G., & Ye, J. C. (2022). Diffusion-based Image Translation using Disentangled Style and Content Representation. International Conference on Learning Representations.