1. 引言

生成式人工智能（GenAI）正在彻底改变复杂的工业工作流。在服装行业，从客户需求到设计师、打版师、裁缝，再到最终交付的传统流程，正被大型多模态模型（LMMs）所增强。虽然当前的LMMs擅长分析客户偏好以进行商品推荐，但在实现细粒度、用户驱动的定制化方面仍存在显著差距。用户越来越希望扮演设计师的角色，创建并迭代设计直至满意。然而，纯文本提示（例如“白色西装外套”）存在模糊性，缺乏设计师能够推断的专业细节（例如特定的领型）。本文介绍了Better Understanding Generation（BUG）工作流，它利用LMMs来解读图像转提示输入和文本，实现精确、迭代式的时装设计编辑，从而弥合业余用户意图与专业级输出之间的鸿沟。

2. 方法论

2.1 BUG工作流

BUG工作流模拟了现实世界的设计咨询过程。它始于初始化阶段，根据用户的文本描述（例如“一件带有织物图案的棉质西装外套”）生成基础服装图像。随后，用户可以通过迭代循环请求编辑。每次迭代都涉及一个文本提示（例如“修改领子”），以及至关重要的图像转提示——一张说明所需风格元素的参考图像（例如一张戗驳领的图片）。LMM处理这种多模态输入以生成编辑后的设计，用户可以接受该设计或将其用作下一次精炼的基础。

2.2 图像转提示机制

这是核心创新点。系统不再仅仅依赖视觉概念的文本描述，而是接收一张参考图像。LMM的视觉编码器从该参考图像中提取视觉特征，然后与编码后的文本提示融合。这种融合为图像生成/编辑模型创建了一个更丰富、更少歧义的条件信号，直接解决了引言中强调的“文本不确定性”问题。

2.3 LMM架构

所提出的系统采用了双LMM设置，在图2中暗示为eLMM和mLMM。eLMM（编辑LMM）负责理解多模态编辑请求并规划修改方案。mLMM（修改LMM）执行实际的图像编辑，很可能基于像Stable Diffusion 3这样的扩散模型架构构建，并以融合的文本-图像表示作为条件。这种分离允许进行专门的推理和执行。

3. FashionEdit数据集

3.1 数据集构建

为了验证BUG工作流，作者引入了FashionEdit数据集。该数据集旨在模拟现实世界的服装设计工作流。它包含三元组：（1）基础服装图像，（2）文本编辑指令（例如“改为戗驳领风格”），以及（3）描述目标属性的参考风格图像。该数据集涵盖了细粒度的编辑，如领型更改（戗驳领）、扣合方式修改（四粒扣双排扣）和配饰添加（添加一朵襟花）。

3.2 评估指标

提出的评估包括三个方面：

  • 生成相似度：衡量编辑后的输出与参考图像中预期属性的接近程度，使用LPIPS（学习感知图像块相似度）和CLIP分数等指标。
  • 用户满意度：通过人工评估或问卷调查来评估实际有用性以及与用户意图的一致性。
  • 质量：评估生成图像的整体视觉保真度和连贯性，确保没有伪影。

4. 实验与结果

4.1 实验设置

在FashionEdit数据集上，将BUG框架与仅使用文本的基线编辑方法（使用如Stable Diffusion 3和DALL-E 2配合修复功能的模型）进行基准测试。实验测试了系统在参考图像引导下执行精确、特定属性编辑的能力。

4.2 定量结果

论文报告了BUG工作流在所有三个评估指标上均优于纯文本基线。主要发现包括：

  • 更高的LPIPS/CLIP分数：编辑后的图像在感知上与参考图像指定的目标属性表现出更高的相似度。
  • 更高的用户满意度：在人工评估中，图像转提示方法生成的输出被一致评为更准确地满足了编辑请求。
  • 保持图像质量：BUG工作流在进行目标编辑的同时，保持了基础服装的整体质量和连贯性。

4.3 定性分析与案例研究

PDF中的图1和图2提供了有力的定性证据。图1展示了现实场景：用户提供一张穿着白色西装外套的人物图像和一张特定领型的参考图片，要求进行修改。仅文本描述“白色西装外套”是不够的。图2从视觉上对比了迭代式BUG过程（同时使用文本和图像提示）与纯文本编辑流程，展示了前者如何导向正确的设计，而后者在添加襟花或改为四粒扣双排扣风格等细粒度任务上常常产生错误或模糊的结果。

5. 技术分析与框架

5.1 数学公式

核心生成过程可以表述为一个条件扩散过程。令 $I_0$ 为初始基础图像。一个编辑请求是一对 $(T_{edit}, I_{ref})$，其中 $T_{edit}$ 是文本指令，$I_{ref}$ 是参考图像。LMM将其编码为一个组合条件向量 $c = \mathcal{F}(\phi_{text}(T_{edit}), \phi_{vision}(I_{ref}))$，其中 $\mathcal{F}$ 是一个融合网络（例如交叉注意力）。然后，编辑后的图像 $I_{edit}$ 从以 $c$ 为条件的反向扩散过程中采样得到： $$p_\theta(I_{edit} | I_0, c) = \prod_{t=1}^{T} p_\theta(I_{t-1} | I_t, c)$$ 其中 $\theta$ 是mLMM的参数。与标准文本到图像扩散的关键区别在于源自多模态融合的丰富条件 $c$。

5.2 分析框架示例

案例：编辑西装驳领

  1. 输入： 基础图像（$I_0$）：一张穿着平驳领西装外套的女性图像。编辑请求：$(T_{edit}="改为戗驳领风格"， I_{ref}=[戗驳领图像])$。
  2. LMM处理： eLMM解析 $T_{edit}$ 以识别目标区域（“驳领”）和动作（“改变风格”）。视觉编码器从 $I_{ref}$ 中提取定义“戗驳领”的视觉特征。
  3. 条件融合： 来自 $I_0$ 的“驳领”特征、文本概念“戗驳”以及来自 $I_{ref}$ 的视觉模板被对齐并融合成一个统一的空间感知条件图，供mLMM使用。
  4. 执行： mLMM（一个扩散模型）在融合条件的引导下，对 $I_0$ 的驳领区域进行修复/编辑，将平驳领转变为戗驳领，同时保留西装其余部分和模特姿态。
  5. 输出： $I_{edit}$：同一张基础图像，但驳领已准确修改为戗驳领。
此框架展示了图像转提示范式所实现的精确、属性级别的控制。

6. 未来应用与方向

BUG工作流的影响超越了时尚领域：

  • 室内与产品设计： 用户可以展示家具腿或织物纹理的参考图像来修改3D模型或房间渲染图。
  • 游戏资产创建： 通过将基础模型与风格参考相结合，快速原型化角色盔甲、武器或环境。
  • 建筑可视化： 基于示例图像修改建筑立面或室内装饰。
  • 未来研究： 扩展到视频编辑（跨帧更改演员服装）、3D形状编辑，以及改进编辑的组合性（处理多个可能相互冲突的参考图像）。一个主要方向是增强LMM对空间关系和物理特性的推理能力，以确保编辑不仅在视觉上正确，而且合理（例如，襟花正确地别在驳领上）。

7. 参考文献

  1. Stable Diffusion 3: Research Paper, Stability AI.
  2. Rombach, R., et al. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).
  3. OpenAI. (2022). DALL-E 2. https://openai.com/dall-e-2
  4. Isola, P., et al. (2017). Image-to-Image Translation with Conditional Adversarial Networks. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). (CycleGAN是一种相关的无监督方法)。
  5. Liu, V., & Chilton, L. B. (2022). Design Guidelines for Prompt Engineering Text-to-Image Generative Models. CHI Conference on Human Factors in Computing Systems.
  6. Brooks, T., et al. (2023). InstructPix2Pix: Learning to Follow Image Editing Instructions. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).
  7. Li, H., et al. (2025). Fine-Grained Customized Fashion Design with Image-into-Prompt Benchmark and Dataset from LMM. arXiv:2509.09324.

8. 原创分析与专家评论

核心见解： 这篇论文不仅仅是图像编辑领域的又一次渐进式改进；它是一次向多模态意图消歧的战略性转向。作者正确地指出，生成式AI在创意领域的下一个前沿不是原始能力，而是精确沟通。真正的瓶颈不是模型生成“西装外套”的能力，而是其理解用户心中具体是哪一件西装外套的能力。通过将“图像作为参考”范式形式化为“图像转提示”基准（BUG），他们正在解决困扰人机协同创作的根本性模糊问题。这超越了像CycleGAN（学习无配对风格迁移）或InstructPix2Pix（仅依赖文本）等模型的老路，明确要求AI交叉参考视觉范例，这是一个更接近人类设计师工作方式的认知步骤。

逻辑脉络： 论证具有说服力且结构良好。它从一个清晰的行业痛点（业余文本提示与专业设计输出之间的差距）开始，提出了一个认知上合理的解决方案（模仿设计师使用参考图像的方式），然后用一个具体的技术工作流（BUG）和一个定制的评估数据集（FashionEdit）来支持它。使用双LMM架构（eLMM/mLMM）在逻辑上将高级规划与低级执行分开，这是一种在基于代理的AI系统中日益流行的设计模式，正如Google DeepMind等机构在工具使用和规划方面的研究所示。

优势与不足： 主要优势在于问题界定和基准创建。FashionEdit数据集如果公开可用，可能成为评估细粒度编辑的标准，就像MS-COCO之于目标检测一样。将用户满意度作为指标也值得称赞，承认仅靠技术分数是不够的。然而，正如摘要所示，该论文存在显著不足。LMM融合机制的技术细节很少。来自 $I_{ref}$ 的视觉特征究竟如何与 $I_0$ 中的空间区域对齐？是通过交叉注意力、专用的空间对齐模块，还是其他方式？此外，评估虽然前景看好，但需要更严格的消融研究。性能提升有多少来自参考图像，而不仅仅是拥有一个调优更好的基础模型？与像InstructPix2Pix或DragGAN风格的点基编辑这样的强基线进行比较，将提供更有力的证据。

可操作的见解： 对于行业从业者而言，这项研究发出了一个明确的指示：为你的生成式AI产品投资多模态交互层。一个简单的文本框已经不够了。用户界面必须允许用户拖放或圈选参考图像。对于研究人员，BUG基准开辟了几个方向：1）鲁棒性测试——模型在低质量或语义上较远的参考图像下表现如何？2）组合性——能否处理“将图像A的领子和图像B的袖子结合起来”？3）泛化性——这些原理能否应用于非时尚领域，如图形设计或工业CAD？最终的考验将是这种方法能否从受控的数据集走向真实用户混乱、开放式的创造力，这一挑战常常将学术原型与商业突破区分开来，正如早期基于GAN的创意工具的历史所表明的那样。