从 CLIP 到潜空间扩散：AI 图像生成的几个关键分工

2026-09-09 分类：Ai 标签：技术解读、多模态、大模型、产品

原载：荒岛书生 · 原文 · 作者：荒岛书生 · 原始发布日期：2026-09-09。迁移核对：2026-11-07，依据当前公开正文；保留原文资料截止日期、作者观点与核验说明，不将历史资料视作今日消息。

让文字决定画面，需要跨过两道门

“画一只站在灯塔旁的海鸟”同时提出了内容、空间关系与风格要求。系统一方面需要把语言与视觉概念连接起来，另一方面需要生成具有这些特征的图像。这是两项相关但不同的工作，不能用“模型理解了提示词”一句话概括。

CLIP 研究图文表示对齐，DDPM 研究逐步去噪生成，潜空间扩散则改变生成过程所在的表示空间。把这几条研究线放在一起，能帮助我们阅读过去几年的图像模型演进，但并不意味着所有商业模型采用同一套具体结构。

CLIP 从图文配对中学习表示，使文字描述可以参与视觉任务。它提供了一种跨模态联系，却不是一个完整的图像生成器。CLIP。

概念对齐也不能保证复杂关系都被保留。“红杯子在蓝书左边”包含颜色归属和空间关系；只抓住“红、蓝、杯子、书”这几个概念，仍可能生成错误布局。因此评估提示遵循时，应把对象存在、属性绑定、数量与关系分别观察。

DDPM 把图像逐步加噪的过程与学习逆向去噪连接起来。训练后的系统能够从随机状态逐步形成样本。DDPM。

这里的“去噪”不是把一张指定原图从噪声里找回来。训练让模型掌握数据分布中的规律，生成路径又受条件与随机性影响。同样的提示可能得到不同构图，并不奇怪；随机种子相同也不保证跨模型版本完全复现。

潜空间扩散先把图像编码为较紧凑的表示，在该空间执行扩散，再解码回图像。它让大量计算不必直接发生在完整像素空间，但压缩表示本身也带来约束。潜空间扩散。

可以把它想成先用较紧凑的草图结构安排画面，再恢复可见细节；这仍只是比喻，潜变量并非人类能直接阅读的草图。压缩与重建过程会影响细小文字、边缘和局部纹理，评价时不能只看缩略图是否漂亮。

单张图可以通过多次抽取选择最好的一张。连续编辑则要求保持不变的部分不被误改：人物身份、品牌形状、文字内容和构图关系可能都需要稳定。用户说“把背景改为夜晚”，并不意味着允许灯塔结构也改变。

因此一个面向设计工作的测试，应包含只改一项属性、连续多轮修改、保留指定区域、精确文字和多种长宽比。还应记录为了达到结果做了几次尝试，而不能把最终挑中的样本当作系统的一次成功率。

生成图可以表达创意，却不能天然充当真实事件的照片。把图用于新闻、科学或产品说明时，需要明确它是示意还是记录。尤其是信息图，图形合理也可能掩盖数据错误，数字与来源必须另行核对。

本站的判断是，多模态进步越来越体现在可控性与工作流上：用户能否表达精确要求，模型能否保持约束，结果能否继续修改。这些指标比一组缺少失败样本的展示图，更能说明工具是否适合真实工作。

资料核验：2026-09-09。本文为基于公开资料的原创整理。