1. 簡介與概述
時尚設計是一個複雜、迭代的過程，涉及高層次的概念化與低層次的細節精修。現有的時尚生成或編輯人工智慧模型通常獨立運作，未能反映實際設計師的工作流程。HieraFashDiff 透過提出一個階層式、多階段的擴散模型來解決此一差距，該模型明確地將創意過程分解為兩個對齊的階段：構思與迭代。此框架不僅能從抽象概念生成新穎設計，還能在單一統一的模型中實現細粒度、局部化的編輯，這代表著朝向實用的AI輔助設計工具邁出了重要一步。
2. 方法論與框架
HieraFashDiff 的核心創新在於其結構與人類設計流程的對齊。
2.1 核心架構：兩階段去噪
標準擴散模型的反向去噪過程被策略性地劃分。早期步驟（例如時間步 $t=T$ 到 $t=M$）構成構思階段。在此階段，模型根據高層次文字提示（例如「波西米亞風夏季洋裝」）進行條件控制，將純高斯噪聲去噪為粗糙的概念設計草圖。後期步驟（例如 $t=M$ 到 $t=0$）則形成迭代階段，在此階段，草圖會使用低層次、細粒度的屬性（例如「將袖長改為短袖，在裙子上添加花卉圖案」）進行精修，以產生最終的高保真度影像。
2.2 階層式條件控制機制
該模型採用雙重條件控制機制。一個高層次文字編碼器處理構思階段的主題概念。另一個獨立的、專注於屬性的編碼器則處理迭代階段的詳細編輯指令。這些條件訊號透過交叉注意力層在各自階段注入U-Net骨幹網路，確保先定義全域結構，再處理局部細節。
2.3 HieraFashDiff 資料集
一個關鍵貢獻是帶有階層式文字描述的全新全身時尚影像資料集。每張影像都配對：1) 一個高層次概念描述，以及 2) 一組針對不同服裝區域（例如領口、袖子、下襬）的低層次屬性標註。這種結構化資料對於訓練模型以分離並回應不同層次的創意輸入至關重要。
3. 技術深入探討
3.1 數學公式
該模型基於條件擴散過程。前向過程添加噪聲：$q(\mathbf{x}_t | \mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t} \mathbf{x}_{t-1}, \beta_t \mathbf{I})$。反向過程是學習得來並受條件控制：
對於 $t > M$（構思階段）：
$p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t, \mathbf{c}_{high})$，其中 $\mathbf{c}_{high}$ 是高層次概念。
對於 $t \leq M$（迭代階段）：
$p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t, \mathbf{c}_{low})$，其中 $\mathbf{c}_{low}$ 是低層次屬性集合。
模型學習預測噪聲 $\epsilon_\theta(\mathbf{x}_t, t, \mathbf{c})$，其中 $\mathbf{c}$ 根據時間步長切換。
3.2 訓練目標
模型使用簡化的目標函數進行訓練，這是DDPM中使用的噪聲預測損失的一個變體：
$L = \mathbb{E}_{\mathbf{x}_0, \mathbf{c}_{high}, \mathbf{c}_{low}, t, \epsilon \sim \mathcal{N}(0,\mathbf{I})} [\| \epsilon - \epsilon_\theta(\mathbf{x}_t, t, \mathbf{c}(t)) \|^2 ]$
其中 $\mathbf{c}(t) = \mathbf{c}_{high}$ 若 $t > M$，否則為 $\mathbf{c}_{low}$。關鍵在於依時間變化的條件控制切換。
4. 實驗結果與評估
4.1 量化指標與基準測試
HieraFashDiff 與最先進的時尚生成（例如 FashionGAN）和編輯（例如 SDEdit）模型進行了比較評估。它在以下方面表現出卓越性能：
- FID（Fréchet Inception Distance）： 較低的FID分數，表明生成的影像在統計上與真實時尚照片更相似。
- CLIP 分數： 較高的分數，確認生成的影像與輸入文字提示之間有更好的對齊度。
- 使用者研究（A/B測試）： 設計專業人士在創意性和實用性方面都顯著偏好 HieraFashDiff 的輸出。
4.2 質性分析與視覺比較
視覺結果顯示了 HieraFashDiff 的優勢：1) 連貫的構思： 從「優雅晚禮服」出發，它能生成多樣化但主題一致的草圖。2) 精確的編輯： 像「將上衣的素色換成佩斯利圖案」這樣的指令能以高保真度執行，同時保持服裝其餘部分不變——這對全域編輯方法來說是一項挑戰。
圖表描述（設想）： 長條圖將顯示 HieraFashDiff 的 FID 分數（例如 15.2）顯著低於 FashionGAN（28.7）和 SDEdit（編輯任務為 32.1）。折線圖將描繪 CLIP 分數與提示複雜度的關係，其中 HieraFashDiff 在複雜的階層式提示下仍保持高分，而基準模型則下降。
4.3 消融研究
消融研究證實了兩階段設計的必要性。一個僅以串聯的高/低層次提示為條件的單階段模型，在保真度和編輯精確度上都表現較差。移除階層式資料集會導致概念與屬性的分離效果不佳。
5. 分析框架與個案研究
核心洞見： HieraFashDiff 的真正突破不僅僅是更好的影像品質；更是其與人類認知過程的程序對齊。它將「先草圖後細節」的循環形式化，使AI成為協作夥伴，而非黑箱生成器。這解決了大多數創意AI的一個根本缺陷——缺乏直觀、中間且可編輯的表示形式。
邏輯流程： 模型的邏輯無懈可擊：分解問題空間。高層次視覺設定約束（「藝術指導」），低層次編輯在其內運作。這讓人聯想到像 GitHub Copilot 這樣的平台如何工作——先建議函式骨架（構思），再填入邏輯（迭代）。
優勢與缺陷： 其優勢在於以工作流程為中心的設計，這是該領域應從人機互動研究中學習的一課。與所有擴散模型一樣，其主要缺陷是計算成本和延遲，使得即時迭代具有挑戰性。此外，其成功極度依賴於階層式資料集的品質與細粒度——為小眾風格策劃這樣的資料集並非易事。
可行見解： 對於實務工作者：此框架是一個藍圖。其核心思想——條件控制的時間劃分——可應用於時尚以外的領域（例如建築設計、UI/UX原型）。對於研究人員：下一個前沿是互動式多階段模型。模型能否在構思階段後接受回饋？「迭代」階段能否成為一個有人類參與的互動循環？整合來自大型語言模型中常見的「基於人類回饋的強化學習」概念，可能是關鍵。
個案研究 - 「從波西米亞風到職場風」編輯： 使用者從高層次概念開始：「飄逸的波西米亞風長洋裝」。HieraFashDiff 的構思階段生成數個草圖選項。使用者選擇一個，並帶著低層次指令進入迭代階段：「1. 將洋裝縮短至膝蓋長度。2. 將布料從雪紡改為結構棉。3. 將印花從花卉改為海軍藍素色。4. 在肩膀上添加西裝外套輪廓。」模型依序/集體執行這些指令，將波西米亞風草圖轉變為職場風格洋裝，展示了精確的、組合式的編輯能力。
6. 未來應用與研究方向
- 個人化時尚助理： 整合到設計師的CAD軟體中，允許從情緒板快速建立原型。
- 永續時尚： 虛擬試穿與風格修改，透過數位化測試設計來減少過度生產。
- 元宇宙與數位資產： 為虛擬化身和數位收藏品（NFT）生成獨特、有紋理的服裝。
- 研究方向： 1) 3D服裝生成： 將階層式方法擴展到3D網格和垂墜模擬。2) 多模態條件控制： 除了文字，還納入草圖輸入或布料樣本影像。3) 效率： 探索蒸餾技術或潛在擴散模型，以加速即時應用的生成速度。
7. 參考文獻
- Xie, Z., Li, H., Ding, H., Li, M., Di, X., & Cao, Y. (2025). HieraFashDiff: Hierarchical Fashion Design with Multi-stage Diffusion Models. Proceedings of the AAAI Conference on Artificial Intelligence.
- Ho, J., Jain, A., & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. Advances in Neural Information Processing Systems, 33.
- Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.
- Zhu, J.-Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. Proceedings of the IEEE International Conference on Computer Vision.
- OpenAI. (2021). CLIP: Connecting Text and Images. OpenAI Blog. Retrieved from https://openai.com/research/clip
- Heusel, M., Ramsauer, H., Unterthiner, T., Nessler, B., & Hochreiter, S. (2017). GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium. Advances in Neural Information Processing Systems, 30.