扩散模型如何画图：从噪声预测到潜空间生成
原载：荒岛书生 · 原文 · 作者：荒岛编辑部 · 原始发布日期：2026-09-05。 迁移核对：2026-11-07，依据当前公开正文；保留原文资料截止日期、作者观点与核验说明，不将历史资料视作今日消息。
先把训练和生成方向分开
DDPM 让模型学习不同噪声水平下的恢复过程。训练时有原始样本，可以构造带噪输入；生成时从随机噪声出发，按学习到的反向过程逐步产生样本。
把它理解成“把照片打碎后原样拼回去”会误导：生成时通常没有一张指定原图等着恢复，系统是在学习数据分布后，从噪声生成新的样本。
一个常见训练目标的直觉
在简化表示中，带噪样本可以写成：
x_t = √ᾱ_t × x_0 + √(1-ᾱ_t) × ε
x_0 是原始数据，ε 是采样的噪声，时间步决定混合比例。常见做法之一是让网络根据 x_t 和时间步预测噪声，再比较预测与实际噪声的差异。
这是一种训练参数化，不是所有生成模型都必须采用相同目标。理解时先抓住“知道如何构造练习题，并能计算训练误差”，再研究不同目标的差别。
为什么要分很多步
从纯噪声直接得到复杂图像很困难，逐步生成将变化拆成多个较小过程。采样步数、噪声调度和求解方式共同影响速度与效果。
多走几步未必总能明显改善结果，也不是每一步都在按人类画画顺序补细节。真实模型中的表示变化，比“先画轮廓、再涂颜色”的比喻复杂。
潜空间为什么更经济
高分辨率像素很多。Latent Diffusion 先把图像编码到更紧凑的潜在表示，在那里完成主要扩散计算，再用解码器恢复到像素空间。
可以把它看成把主要工作搬到压缩表示中。压缩降低成本，但编码器与解码器也带来信息损失和新的误差来源。文字细节、微小结构和高频纹理可能受到影响。
提示词如何进入过程
条件生成会把文本等信息作为约束，影响模型的去噪方向。文本不是一份可以精确执行的绘图程序；它经过编码后，与模型已有的图像分布共同决定结果。
这解释了为什么相同提示可能得到不同图像，也解释了复杂关系描述为何容易失败。图像看起来合理，与严格满足每个对象数量和空间关系，是不同的要求。
三种质量问题要分开诊断
语义问题是内容没有符合请求；结构问题是几何或对象关系错误；细节问题是文字、边缘或纹理不清楚。它们可能需要不同处理，不是统一增加分辨率就能解决。
评估时最好准备包含数量、关系、文字和风格约束的测试样例，并检查多个随机种子。只挑一张最好看的图，会高估系统稳定性。
从生成原理回到产品选择
扩散模型的价值在于提供一种有效的分布学习与生成路径。实际产品还要处理延迟、编辑可控性、数据来源和结果检查。
读 DDPM 后再读潜空间扩散，能看见一条清晰的工程线索：先建立有效的生成目标，再寻找更经济的表示与采样方式。
原始资料与阅读路径
- Ho 等，Denoising Diffusion Probabilistic Models（2020）
- Rombach 等，High-Resolution Image Synthesis with Latent Diffusion Models（2021）
本文为荒岛编辑部原创技术解读，公式示例与工程判断用于解释原理，不是对论文实验的独立复现。历史事实按上述原始资料核验，资料截止 2026 年 9 月 5 日。
