1. 引言

生成式人工智能（GenAI）正喺度徹底改變複雜嘅工業流程。喺服裝行業，傳統嘅流程——從客戶需求到設計師、紙樣師、裁縫，再到最終交付——正喺度被大型多模態模型（LMMs）增強。雖然目前嘅LMMs擅長分析客戶偏好以進行商品推薦，但喺實現精細化、用戶驅動嘅定制方面仍然存在巨大差距。用戶越來越希望自己扮演設計師嘅角色，創造並反覆修改設計，直到滿意為止。然而，純文字提示（例如「白色西裝外套」）存在模糊性，缺乏設計師能夠推斷嘅專業細節（例如特定嘅領型）。本文介紹更好理解生成（BUG）工作流程，該流程利用LMMs來解讀圖像轉提示輸入以及文字，實現精確、迭代式嘅時裝設計修改，彌合業餘用戶意圖同專業級輸出之間嘅差距。

2. 方法論

2.1 BUG工作流程

BUG工作流程模擬現實世界嘅設計諮詢。佢從初始化階段開始，根據用戶嘅文字描述（例如「一件有布料圖案嘅棉質西裝外套」）生成一件基礎服裝圖像。隨後，用戶可以通過一個迭代循環請求修改。每次迭代都涉及一個文字提示（例如「修改個領」）以及至關重要嘅圖像轉提示——一張說明所需風格元素嘅參考圖像（例如一張戧駁領嘅圖片）。LMM處理呢個多模態輸入以生成修改後嘅設計，用戶可以接受該設計或將其用作下一次細化嘅基礎。

2.2 圖像轉提示機制

呢個係核心創新。系統唔再單單依賴視覺概念嘅文字描述，而係攝取一張參考圖像。LMM嘅視覺編碼器從呢張參考圖像中提取視覺特徵，然後將其與編碼後嘅文字提示融合。呢種融合為圖像生成/編輯模型創造咗一個更豐富、更少模糊嘅條件信號，直接解決引言中強調嘅「文字不確定性」問題。

2.3 LMM架構

所提出嘅系統採用雙LMM設置，圖2中暗示為eLMM同mLMM。eLMM（編輯器LMM）負責理解多模態編輯請求並規劃修改。mLMM（修改器LMM）執行實際嘅圖像編輯，可能基於擴散架構（如Stable Diffusion 3）構建，並以融合嘅文字-圖像表示為條件。呢種分離允許專門嘅推理同執行。

3. FashionEdit數據集

3.1 數據集構建

為咗驗證BUG工作流程，作者引入FashionEdit數據集。呢個數據集旨在模擬現實世界嘅服裝設計流程。佢包含三元組：(1) 一件基礎服裝圖像，(2) 一條文字編輯指令（例如「改為戧駁領款式」），同(3) 一張描述目標屬性嘅參考風格圖像。數據集涵蓋精細化編輯，例如領型更改（戧駁領）、扣合方式修改（四粒鈕雙襟）以及配飾添加（添加襟花）。

3.2 評估指標

提出嘅評估分為三個方面：

  • 生成相似度：衡量編輯後嘅輸出與參考圖像中嘅目標屬性嘅接近程度，使用LPIPS（學習感知圖像塊相似度）同CLIP分數等指標。
  • 用戶滿意度：通過人工評估或問卷調查來評估實際有用性以及與用戶意圖嘅一致性。
  • 質量：評估生成圖像嘅整體視覺保真度同連貫性，確保無瑕疵。

4. 實驗與結果

4.1 實驗設置

在FashionEdit數據集上，將BUG框架與僅使用文字嘅基線編輯方法（使用Stable Diffusion 3同DALL-E 2配合修補等模型）進行基準測試。實驗測試系統喺參考圖像引導下執行精確、特定屬性編輯嘅能力。

4.2 量化結果

論文報告BUG工作流程在所有三個評估指標上均優於僅使用文字嘅基線。主要發現包括：

  • 更高嘅LPIPS/CLIP分數：編輯後嘅圖像與參考圖像指定嘅目標屬性表現出更大嘅感知相似度。
  • 更高嘅用戶滿意度：在人工評估中，圖像轉提示方法嘅輸出被一致評為更準確地完成編輯請求。
  • 保持圖像質量：BUG工作流程在進行目標編輯嘅同時，保持咗基礎服裝嘅整體質量同連貫性。

4.3 定性分析與案例研究

PDF中嘅圖1同圖2提供咗有力嘅定性證據。圖1說明咗現實場景：用戶提供一張著白色西裝外套嘅人像圖同特定領型嘅參考圖片，要求進行修改。僅文字描述「白色西裝外套」係唔足夠嘅。圖2視覺化對比咗迭代式BUG流程（同時使用文字同圖像提示）與僅使用文字嘅編輯流程，顯示前者如何導向正確設計，而後者對於添加襟花或改為四粒鈕雙襟款式等精細化任務，經常產生錯誤或模糊嘅結果。

5. 技術分析與框架

5.1 數學公式

核心生成過程可以表述為一個條件擴散過程。設$I_0$為初始基礎圖像。一個編輯請求係一對$(T_{edit}, I_{ref})$，其中$T_{edit}$係文字指令，$I_{ref}$係參考圖像。LMM將其編碼為一個組合條件向量$c = \mathcal{F}(\phi_{text}(T_{edit}), \phi_{vision}(I_{ref}))$，其中$\mathcal{F}$係一個融合網絡（例如交叉注意力）。然後，編輯後嘅圖像$I_{edit}$從以$c$為條件嘅反向擴散過程中採樣得出： $$p_\theta(I_{edit} | I_0, c) = \prod_{t=1}^{T} p_\theta(I_{t-1} | I_t, c)$$ 其中$\theta$係mLMM嘅參數。與標準文字轉圖像擴散嘅關鍵區別在於源自多模態融合嘅豐富條件$c$。

5.2 分析框架示例

案例：編輯西裝外套駁領

  1. 輸入：基礎圖像（$I_0$）：一張著平駁領西裝外套嘅女性圖像。編輯請求：$(T_{edit}=「改為戧駁領款式」, I_{ref}=[戧駁領圖片])$。
  2. LMM處理：eLMM解析$T_{edit}$以識別目標區域（「駁領」）同動作（「更改款式」）。視覺編碼器從$I_{ref}$中提取定義視覺上「戧駁領」嘅特徵。
  3. 條件融合：來自$I_0$嘅「駁領」特徵、文字概念「戧駁」以及來自$I_{ref}$嘅視覺模板被對齊並融合成一個統一嘅空間感知條件圖，用於mLMM。
  4. 執行：mLMM（一個擴散模型）在融合條件嘅引導下，對$I_0$嘅駁領區域進行修補/編輯，將平駁領轉變為戧駁領，同時保留西裝外套其餘部分同模特姿勢。
  5. 輸出：$I_{edit}$：相同嘅基礎圖像，但駁領已準確修改為戧駁領。
呢個框架展示咗圖像轉提示範式所實現嘅精確、屬性級別控制。

6. 未來應用與方向

BUG工作流程嘅影響超越時裝領域：

  • 室內與產品設計：用戶可以展示家具腳或布料紋理嘅參考圖像來修改3D模型或房間渲染圖。
  • 遊戲資產創建：通過將基礎模型與風格參考相結合，快速原型化角色盔甲、武器或環境。
  • 建築可視化：基於示例圖像修改建築外立面或室內裝飾。
  • 未來研究：擴展到影片編輯（跨幀更改演員服裝）、3D形狀編輯，以及改進編輯嘅組合性（處理多個可能相互衝突嘅參考圖像）。一個主要方向係增強LMM嘅空間關係同物理推理能力，以確保編輯不僅視覺上正確，而且合理（例如襟花正確地別喺駁領上）。

7. 參考文獻

  1. Stable Diffusion 3: Research Paper, Stability AI.
  2. Rombach, R., et al. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).
  3. OpenAI. (2022). DALL-E 2. https://openai.com/dall-e-2
  4. Isola, P., et al. (2017). Image-to-Image Translation with Conditional Adversarial Networks. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). (CycleGAN係一種相關嘅無監督方法)。
  5. Liu, V., & Chilton, L. B. (2022). Design Guidelines for Prompt Engineering Text-to-Image Generative Models. CHI Conference on Human Factors in Computing Systems.
  6. Brooks, T., et al. (2023). InstructPix2Pix: Learning to Follow Image Editing Instructions. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).
  7. Li, H., et al. (2025). Fine-Grained Customized Fashion Design with Image-into-Prompt Benchmark and Dataset from LMM. arXiv:2509.09324.

8. 原創分析與專家評論

核心見解：呢篇論文唔只係圖像編輯領域嘅另一個漸進式改進；佢係一次向多模態意圖消歧嘅戰略性轉向。作者正確地指出，生成式AI喺創意領域嘅下一個前沿唔係原始能力，而係精確溝通。真正嘅瓶頸唔係模型生成「西裝外套」嘅能力，而係佢理解用戶心目中邊件具體嘅西裝外套嘅能力。通過將「圖像作為參考」範式形式化為「圖像轉提示」基準（BUG），佢哋正喺度解決困擾人機協作嘅根本性模糊問題。呢個方法超越咗CycleGAN（學習非配對風格遷移）或InstructPix2Pix（僅依賴文字）等模型嘅老路，明確要求AI交叉參考視覺範例，呢個認知步驟更接近人類設計師嘅工作方式。

邏輯流程：論證具有說服力且結構良好。佢從一個清晰嘅行業痛點開始（業餘文字提示與專業設計輸出之間嘅差距），提出一個認知上合理嘅解決方案（模仿設計師使用參考圖像），然後用具體嘅技術工作流程（BUG）同量身定制嘅評估數據集（FashionEdit）來支持。使用雙LMM架構（eLMM/mLMM）在邏輯上將高層次規劃與低層次執行分開，呢種設計模式喺基於智能體嘅AI系統中越來越受歡迎，正如Google DeepMind等機構關於工具使用同規劃嘅研究所見。

優點與不足：主要優點係問題界定同基準創建。FashionEdit數據集如果公開，可能會成為評估精細化編輯嘅標準，就好似MS-COCO之於物件檢測一樣。將用戶滿意度作為指標納入評估亦值得讚賞，承認僅技術分數係唔足夠嘅。然而，從摘要來看，論文存在明顯嘅不足。LMM融合機制嘅技術細節非常簡略。來自$I_{ref}$嘅視覺特徵究竟如何與$I_0$中嘅空間區域對齊？係通過交叉注意力、專用嘅空間對齊模組，定係其他方法？此外，評估雖然有前景，但需要更嚴格嘅消融研究。改進中有幾多係來自參考圖像，而唔只係因為有一個更好調校嘅基礎模型？與InstructPix2Pix或DragGAN式基於點嘅編輯等強勁基線進行比較，將提供更有力嘅證據。

可行建議：對於行業從業者，呢項研究發出一個明確嘅指示：為你哋嘅生成式AI產品投資多模態交互層。一個簡單嘅文字框已經唔夠。用戶界面必須允許用戶拖放或圈選參考圖像。對於研究人員，BUG基準開闢咗幾個方向：1）穩健性測試——模型喺低質量或語義上相距甚遠嘅參考圖像下表現如何？2）組合性——佢能否處理「將領口改成圖A嘅樣式，袖口改成圖B嘅樣式」？3）泛化能力——呢啲原則能否應用於非時裝領域，例如平面設計或工業CAD？最終嘅考驗將係呢種方法能否從受控數據集轉移到真實用戶混亂、開放式嘅創意中，呢個挑戰經常將學術原型與商業突破區分開來，正如早期基於GAN嘅創意工具歷史所顯示嘅那樣。