整體穿搭：基於節點式圖神經網絡的服裝搭配相容性學習

1. 引言

本文探討時尚推薦中的實際問題：「我們應該選擇哪個單品來搭配給定的時尚單品，以形成一套相容的服裝？」 核心挑戰在於準確估計服裝搭配相容性。先前的方法著重於成對單品相容性，或將服裝表示為序列（例如使用RNN），未能捕捉服裝中所有單品之間複雜的非序列關係。為克服此限制，作者提出一種新穎的基於圖的表示法及相應的節點式圖神經網絡（NGNN）模型。

2. 方法論

所提出的框架將服裝相容性問題轉化為圖學習任務。

2.1. 時尚圖構建

一套服裝被表示為一個時尚圖 $G = (V, E)$。

節點（$V$）： 代表單品類別（例如：T恤、牛仔褲、鞋子）。
邊（$E$）： 代表類別之間的相容性關係或互動。

每套服裝都是一個子圖，其中具體的單品實例被放置到其對應的類別節點中。此結構明確地建模了服裝的關係拓撲。

2.2. 節點式圖神經網絡（NGNN）

核心創新在於用於學習節點（類別）表示的NGNN層。與可能跨邊使用共享參數的標準GNN不同，NGNN採用節點式參數來建模不同的互動。從鄰居節點 $j$ 到節點 $i$ 的訊息傳遞可表述為： $$\mathbf{m}_{ij} = \text{MessageFunction}(\mathbf{h}_i^{(l)}, \mathbf{h}_j^{(l)}; \mathbf{W}_{ij})$$ 其中 $\mathbf{h}_i^{(l)}$ 是第 $l$ 層節點 $i$ 的特徵，而 $\mathbf{W}_{ij}$ 是針對節點對 $(i, j)$ 的特定參數。聚合後的訊息隨後用於更新節點的表示： $$\mathbf{h}_i^{(l+1)} = \text{UpdateFunction}(\mathbf{h}_i^{(l)}, \text{Aggregate}(\{\mathbf{m}_{ij}\}_{j \in \mathcal{N}(i)}))$$ 一個注意力機制最終計算整個服裝圖的相容性分數。

2.3. 多模態特徵整合

NGNN具有靈活性，可以吸收來自多種模態的特徵：

視覺特徵： 使用CNN（例如ResNet）從單品圖像中提取。
文本特徵： 使用NLP模型從單品描述或標籤中提取。

這些特徵被串聯或融合以形成初始節點特徵 $\mathbf{h}_i^{(0)}$。

3. 實驗與結果

在兩個標準任務上進行了實驗，以驗證模型的有效性。

3.1. 實驗設置

模型在公開可用的時尚相容性資料集上進行評估。基準方法包括：

成對方法（例如：Siamese CNN、Low-rank Mahalanobis）。
基於序列的方法（例如：RNN、Bi-LSTM）。
其他基於圖的方法（例如：標準GCN、GAT）。

評估指標：填空任務使用準確率，相容性預測任務使用AUC和F1分數。

3.2. 填空任務

給定一套不完整的服裝，任務是從候選池中選擇最相容的單品來填補空白。NGNN取得了卓越的性能，顯著優於序列模型（RNN/Bi-LSTM）和其他GNN變體。這證明了其在超越局部成對或序列依賴性的整體服裝推理方面具有更優越的能力。

3.3. 相容性預測任務

給定一套完整的服裝，任務是預測二元標籤（相容/不相容）或相容性分數。NGNN再次取得了最高的AUC和F1分數。結果證實，將服裝建模為具有節點式互動的圖，能更有效地捕捉時尚相容性細微且多關係的本質。

4. 技術分析與洞見

核心洞見： 本文的根本突破在於認識到時尚相容性是一個關係圖問題，而非成對或序列問題。圖抽象（時尚圖）比序列更自然地契合該領域，正如關於深度學習關係歸納偏置的開創性工作（Battaglia等人，2018）中所論述的。作者正確地指出了RNN的局限性，即對本質上無序的單品集合強加了一個任意的順序，這也是在集合與圖表示學習研究中指出的缺陷（Vinyals等人，2015）。

邏輯流程： 論證是合理的：1) 識別問題的關係本質，2) 提出圖結構資料表示法，3) 設計針對該結構並具有差異化邊互動的神經網路架構（NGNN），4) 進行實證驗證。從序列到圖的轉變，反映了人工智慧從處理字串到處理網絡的更廣泛演進，正如在社交網絡分析和知識圖譜中所見。

優勢與缺陷： 關鍵優勢在於NGNN中的節點式參數化。這使得模型能夠學習到「西裝外套」與「洋裝」之間的互動，與「運動鞋」和「襪子」之間的互動根本不同，從而捕捉特定類別的風格規則。這超越了普通的GCN/GAT。一個潛在的缺陷（在學術原型中常見）是計算成本。為每個可能的類別對學習一個獨特的參數集 $\mathbf{W}_{ij}$，若沒有顯著的參數共享或分解技術，可能無法擴展到具有數千個類別的大規模、細粒度商品目錄。

可操作的洞見： 對於實務工作者而言，這項研究要求進行資料建模的轉變。與其策劃序列化的服裝資料，不如專注於構建豐富的類別關係圖。NGNN架構為Stitch Fix或Amazon Fashion等公司的技術團隊提供了一個可直接實施的藍圖。多模態方法也建議投資於圖像和文本的統一特徵管線。下一步應立即探索節點式參數的高效近似方法（例如使用超網絡或張量分解），以確保工業可行性。

5. 分析框架範例

情境： 分析一套候選服裝的相容性：「白色亞麻襯衫、深藍色牛仔褲、棕色皮革樂福鞋、銀色手錶。」

框架應用（非程式碼）：

圖構建：
- 節點：{襯衫, 牛仔褲, 鞋子, 手錶}。
- 邊：全連接或基於先驗知識圖（例如：襯衫-牛仔褲、襯衫-鞋子、牛仔褲-鞋子、手錶-襯衫等）。
特徵初始化：
- 提取視覺特徵：顏色（白、藍、棕、銀）、質地（亞麻、丹寧、皮革、金屬）、正式程度分數。
- 提取文本特徵：來自描述的關鍵字（「休閒」、「正式」、「夏季」、「配件」）。
NGNN處理：
- 「襯衫」節點接收來自「牛仔褲」、「鞋子」和「手錶」的訊息。$\mathbf{W}_{\text{襯衫,牛仔褲}}$ 參數學習休閒風格的對齊，而 $\mathbf{W}_{\text{襯衫,手錶}}$ 可能學習配件協調規則。
- 經過數層處理後，每個節點都擁有一個反映其在此特定服裝中角色的上下文感知表示。
相容性評分：
- 最終的圖層級表示被輸入到注意力/評分層。
- 輸出：一個高相容性分數（例如：0.87），表示一套協調、時尚的服裝。

此框架超越了孤立地檢查襯衫是否與牛仔褲相配，轉而評估所有四個單品作為一個系統的整體和諧度。

6. 未來應用與方向

個人化相容性： 將用戶個人資料、過往購買記錄和身體測量數據整合到圖中（例如添加「用戶」節點），以從通用服裝推薦轉向個人化推薦。透過GNN進行協同過濾的研究（He等人，2020，LightGCN）提供了一條清晰的途徑。
時尚可解釋人工智慧： 利用GNN可解釋性技術（例如GNNExplainer）來突顯哪些特定的單品對互動正在削弱服裝的分數，為用戶提供可操作的風格建議。
跨領域與元宇宙時尚： 將框架應用於虛擬試穿、遊戲/元宇宙中的數位時尚，以及跨領域造型（例如將家具與服裝搭配以形成一致的「美學」）。圖結構可以輕鬆地納入來自不同領域的節點。
永續時尚與膠囊衣櫥： 使用模型來識別最具多功能性的「核心」單品，這些單品能與許多其他單品形成相容的服裝，有助於構建永續的膠囊衣櫥並減少過度消費。
動態與時序圖： 透過構建時序時尚圖來建模隨時間變化的時尚趨勢，使系統能夠推薦既相容又符合當季潮流的服裝。

7. 參考文獻

Cui, Z., Li, Z., Wu, S., Zhang, X., & Wang, L. (2019). Dressing as a Whole: Outfit Compatibility Learning Based on Node-wise Graph Neural Networks. Proceedings of the 2019 World Wide Web Conference (WWW '19).
Battaglia, P. W., et al. (2018). Relational inductive biases, deep learning, and graph networks. arXiv preprint arXiv:1806.01261.
Vinyals, O., Bengio, S., & Kudlur, M. (2015). Order matters: Sequence to sequence for sets. arXiv preprint arXiv:1511.06391.
He, X., Deng, K., Wang, X., Li, Y., Zhang, Y., & Wang, M. (2020). LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation. Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval.
Veit, A., Kovacs, B., Bell, S., McAuley, J., Bala, K., & Belongie, S. (2015). Learning visual clothing style with heterogeneous dyadic co-occurrences. Proceedings of the IEEE International Conference on Computer Vision (ICCV).
McAuley, J., Targett, C., Shi, Q., & van den Hengel, A. (2015). Image-based recommendations on styles and substitutes. Proceedings of the 38th International ACM SIGIR Conference on Research and Development in Information Retrieval.