DDBM与DBIM

本文参考《DENOISING DIFFUSION BRIDGE MODELS》与《DIFFUSION BRIDGE IMPLICIT MODELS》。

DDBM

DDPM等工作可以实现从噪声空间到数据空间的映射，但是很多情形下我们的输入源头其实是来自数据空间A的数据，希望将其映射到另一个数据空间B，这样的话DDPM的一般需要引入条件来指导从噪声空间到数据空间的映射。DDBM则提出了一种新型的扩散桥模型，可以实现两个数据空间的直接映射，比如将低质量图片映射为高质量图片。

关于DDBM的理论推导已经完全被《随机微分方程理论》中的内容覆盖掉了，因此不再复述关于Doob’s h transform的内容。

不过要注意的一点是，在拟合$\nabla_{ {\bf x}_t}\log q({\bf x}_t|{\bf x}_T)$的时候，DDBM采用了DDPM相似的技巧，提出使用模型来拟合$\nabla_{ {\bf x}_t}\log q({\bf x}_t|{\bf x}_0,{\bf x}_T)$，这一拟合目标是有闭式形式的，而$\nabla_{ {\bf x}_t}\log q({\bf x}_t|{\bf x}_T)$则没有闭式形式，我们可以很容易证明如下的训练目标的最优解等价于对$\nabla_{ {\bf x}_t}\log q({\bf x}_t|{\bf x}_T)$的直接拟合

$$\mathcal{L}(\theta)=\mathbb{E}_{ {\bf x}_t,{\bf x}_0,{\bf x}_T,t}\left[w(t)||{\bf s}_\theta({\bf x}_t,{\bf x}_T,t)-\nabla_{ {\bf x}_t}\log q({\bf x}_t|{\bf x}_0,{\bf x}_T)\||^2\right]$$

DBIM