随机微分方程理论

Holi2025-03-30

在阅读有关扩散模型、扩散桥模型的相关理论论文的时候，深感学习随机微分方程相关理论的重要性，因此参考北大刘勇老师的《应用随机分析》的讲义以及Simo Särkkä与Arno Solin的《Applied Stochastic Differential Equations》【这本书没有介绍一些随机过程中的基础概念，而是直接切入到了SDE，因此很多地方的叙述不太完整，很多等号实际上是均方极限，但是对于快速想要入门的人还是挺有帮助的】撰写此文。

【待补全：基础概率论公设】

【待补全：ODE求解】

维纳过程性质解析

【待补充】

It$\hat o$积分与SDE

对于一个SDE，很多时候我们希望求解其分布特性，但是现实是我们无法直接对SDE进行常规的积分来得到对该分布的估计，这时候就需要It$\hat o$积分了(也被称为伊藤积分)。

对于如下形式的通用SDE【其中${\bf w}(t)$为零均值白高斯过程，自相关函数为狄拉克函数，也就是如果只关注某个时刻的方差，那么该方差为无穷，要注意的是其并非维纳过程，这要和此前的博文相区分】

$\frac{d\bf x}{dt}={\bf f}({\bf x},t)+{\bf L}({\bf x},t){\bf w}(t)$

常用的积分手段不可行的一个重要原因就是白噪声的不连续性(而不是其随机性)，即使给定一个确定的白噪声的实现，其不连续性仍然无法处理。下面我们开始积分

${\bf x}(t)-{\bf x}(t_0)=\int_{t_0}^t{\bf f}({\bf x}(t),t)dt+\int_{t_0}^t{\bf L}({\bf x}(t),t){\bf w}(t)dt$

看到等式右侧的第二项，它就是问题的来源，${\bf w}(t)$不是连续的！在黎曼积分中，其应该被定义为

$\int_{t_0}^t{\bf L}({\bf x}(t),t){\bf w}(t)dt=\lim_{n\to\infty}\sum_k{\bf L}({\bf x}(t_k^*),t_k^*){\bf w}(t_k^*)(t_{k+1}-t_k)$

其中$t_0<t_1<…<t_n$并且$t_k^*\in[t_k,t_{k+1}]$。假如${\bf w}(t)$是连续的，那么我们就比较容易确定出该黎曼积分的上界和下界，通过证明上界和下界的值相同，这样黎曼积分的值就有意义了，但可惜的是${\bf w}(t)$既不是有界的，也不是随时间连续的。

或许我们也可以尝试Stieltjes积分(一种比黎曼积分更通用的积分形式)，在该情形下，我们认为${\bf w}(t)dt$是另一个过程${\mathbf\beta}(t)$的增量，那么

$\int_{t_0}^t{\bf L}({\bf x}(t),t){\bf w}(t)dt=\int_{t_0}^t{\bf L}({\bf x}(t),t)d\beta(t)$

实际上$\beta(t)\in\mathbb{R}^S$就是(连续随机过程)布朗运动过程，其满足如下性质

任何增量$\Delta\beta_k=\beta(t_{k+1})-\beta(t_k)$都是零均值高斯分布，且方差矩阵为${\bf Q}(t_{k+1}-t_k)$
不交叠的两个增量彼此独立
初值为零

通过这三个性质，我们可以进一步推导得到

$\beta(t)$各处不可微分
白噪声${\bf w}(t)$可以被视为$\frac{d\beta(t)}{dt}$

但是可以看到Stieltjes积分任然面临类似的积分问题

$\int_{t_0}^t{\bf L}({\bf x}(t),t)d\beta=\lim_{n\to\infty}\sum_k{\bf L}({\bf x}(t_k'),t_k')[\beta(t_{k+1})-\beta(t_k)]$

其中$t_0<t_1<…<t_n$并且$t_k’\in[t_k,t_{k+1}]$。该积分要求极限结果与$t_k’$位置选取独立，但是对于存在布朗运动的SDE(${\bf x}(t)$本身的变化不可忽略)，情况并非如此【此处有待进一步分析】。

而It$\hat o$随机积分则比较好地处理了这些问题。其核心的一个观察是，如果我们将$t_k’$确定下来，令$t_k’=t_k$，那么积分形式变为【取不同的边的话，积分结果是不同的】

$\int_{t_0}^t{\bf L}({\bf x}(t),t)d\beta=\lim_{n\to\infty}\sum_k{\bf L}({\bf x}(t_k),t_k)[\beta(t_{k+1})-\beta(t_k)]$

这个极限就变为唯一了【主要还是考虑到$\beta(t)$之间的相关性】，这样我们就可以求解积分

${\bf x}(t)-{\bf x}(t_0)=\int_{t_0}^t{\bf f}({\bf x}(t),t)dt+\int_{t_0}^t{\bf L}({\bf x}(t),t)d\beta(t)$

也可以写为微分形式

$d{\bf x}={\bf f}({\bf x},t)dt+{\bf L}({\bf x},t)d{\bf \beta}(t)$

考虑如下的随机过程积分
$\begin{align} \int_0^t\beta(t)d\beta(t)\\ =\lim_{n\to\infty}\sum_k\beta(t_k)[\beta(t_{k+1})-\beta(t_k)]\\ =\lim_{n\to\infty}\sum_k\left[-\frac{1}{2}(\beta(t_{k+1})-\beta(t_k))^2+\frac{1}{2}(\beta^2(t_{k+1})-\beta^2(t_k))\right]\\ =-\frac{1}{2}t+\frac{1}{2}\beta^2(t) \end{align}$
这里用到了均方极限【这个概念有待补充】
$\mathbb{E}\left(\lim_{n\to\infty}\sum_k((\beta(t_{k+1})-\beta(t_k))^2)-t\right)^2=0$
上述随机过程积分可以写为
$d\left[\frac{1}{2}\beta^2(t)\right]=\beta(t)d\beta(t)+\frac{1}{2}dt$

伊藤公式：设${\bf x}(t)$为伊藤过程(即其SDE中的维纳过程项的伊藤积分存在)，那么考虑一个关于${\bf x}(t)$的任意标量函数$\phi({\bf x}(t),t)$，$\phi$的伊藤微分，也就是$\phi$的伊藤SDE为

$\begin{align} d\phi=\frac{\partial \phi}{\partial t}dt+\sum_i\frac{\partial\phi}{\partial x_i}dx_i+\frac{1}{2}\sum_{i,j}\left(\frac{\partial^2\phi}{\partial x_i\partial x_j}\right)dx_idx_j\\ =\frac{\partial\phi}{\partial t}dt+(\nabla\phi)^Td{\bf x}+\frac{1}{2}\trace\{(\nabla\nabla^T\phi)d{\bf x}d{\bf x}^T\} \end{align}$

【在使用时，常用到关系$d\beta dt={\bf 0}$，$dtd\beta={\bf 0}$，$d\beta d\beta^T={\bf Q}dt$】

通过适当地构造$\phi$，可以将原本的SDE转变为易于求解的形式，从而得到${\bf x}_t$的分布形式。

Kolmogorov方程

Kolmogorov向前方程

也被称为Fokker-Planck方程、Kolmogorov第二方程，可以用于求解前向转移概率密度函数。

对于一维SDE

$d\xi_t=b(t,\xi_t)dt+\sigma(t,\xi_t)dB_t$

那么其正向转移密度函数是如下偏微分方程的基本解

$\frac{\partial}{\partial t}p(x(t)|y(s))=\frac{1}{2}\frac{\partial^2}{\partial x^2}(\sigma(t,x(t))^2p(x(t)|y(s)))-\frac{\partial}{\partial x}(b(t,x(t))p(x(t)|y(s)))$

【其中$s<t$】

Fokker-Planck方程是非条件概率的Kolmogorov向前方程。

对于多维形式的SDE

$d\xi_t={\bf b}(t,\xi_t)dt+{\bf\Sigma}(t,\xi_t)dB_t$

其向前方程为

$\frac{\partial p({\bf x}(t)|{\bf y}(s))}{\partial t}=\frac{1}{2}\sum_{i,j=1}^d\frac{\partial^2}{\partial x_i\partial x_j}\left[\sum_{k=1}^d{\bf\Sigma}_{ik}(t,{\bf x}(t)){\bf\Sigma}_{jk}(t,{\bf x}(t))p({\bf x}(t)|{\bf y}(s))\right]-\sum_{i=1}^d\frac{\partial}{\partial x_i}\left[b_i(t,{\bf x}(t))p({\bf x}(t)|{\bf y}(s))\right]$

也可以写为$\nabla$算子表示的形式，更加简洁【DDBM中给出的形式】

$\frac{\partial}{\partial t}p({\bf x}_t|{\bf x}_s)=-\nabla_{ {\bf x}_t}\cdot\left[{\bf b}(t,{\bf x}_t)p({\bf x}_t|{\bf x}_s)\right]+\frac{1}{2}\nabla\cdot\left(\nabla\cdot\left[{\bf\Sigma}(t,{\bf x}_t){\bf\Sigma}(t,{\bf x}_t)^Tp({\bf x}_t|{\bf x}_s)\right]\right)$

Kolmogorov向后方程

也被称为Kolmogorov第一方程，可以用于求解反向转移概率密度函数。

对于一维SDE

$d\xi_t=b(t,\xi_t)dt+\sigma(t,\xi_t)dB_t$

那么其反向转移密度函数是如下偏微分方程的基本解

$-\frac{\partial}{\partial t}p(y(s)|x(t))=\frac{1}{2}(\sigma(t,x(t))^2\frac{\partial^2}{\partial x^2}p(y(s)|x(t)))+b(t,x(t))\frac{\partial}{\partial x}p(y(s)|x(t))$

【其中$s<t$】

对于多维形式的SDE

$d\xi_t={\bf b}(t,\xi_t)dt+{\bf\Sigma}(t,\xi_t)dB_t$

其向后方程为

$-\frac{\partial p({\bf y}(s)|{\bf x}(t))}{\partial t}=\frac{1}{2}\sum_{i,j=1}^d\sum_{k=1}^d{\bf\Sigma}_{ik}(t,{\bf x}(t)){\bf\Sigma}_{jk}(t,{\bf x}(t))\frac{\partial^2}{\partial x_i\partial x_j}\left[p({\bf y}(s)|{\bf x}(t))\right]+\sum_{i=1}^db_i(t,{\bf x}(t))\frac{\partial}{\partial x_i}\left[p({\bf y}(s)|{\bf x}(t))\right]$

也可以写为$\nabla$算子表示的形式，更加简洁【DDBM中给出的形式】

$-\frac{\partial}{\partial t}p({\bf x}_s|{\bf x}_t)={\bf b}(t,{\bf x}_t)\cdot\nabla_{ {\bf x}_t}\left[p({\bf x}_t|{\bf x}_s)\right]+\frac{1}{2}\trace\left[{\bf\Sigma}(t,{\bf x}_t){\bf\Sigma}(t,{\bf x}_t)^T\nabla^2p({\bf x}_t|{\bf x}_s)\right]$

Lamperti Transform

假如给定一个如下形式的SDE

$d{\bf x}={\bf f}({\bf x},t)dt+{\bf L}({\bf x},t)d\beta$

可以通过Lamperti Transform，将其变换为如下形式

$d{\bf y}={\bf g}({\bf y},t)dt+d\beta$

即将噪声项前与${\bf L}({\bf x},t)$相关的项转移到$dt$微分前，这一操作在进行数值模拟运算的时候很有帮助，因为对于加性的噪声，处理会比较方便。

首先考虑一个标量形式

$dx=f(x,t)dt+L(x,t)d\beta$

那么可以定义如下的变换形式

$y=h(x,t)+\int_\xi^t\frac{1}{L(u,t)}du$

其中$\xi$为任意点。那么采用It$\hat o$公式到$h$上，可以得到

$\begin{align} dy=\frac{\partial h(x,t)}{\partial t}dt+\left(\frac{1}{L(x,t)}\right)dx+\frac{1}{2}\left(-\frac{\partial L(x,t)/\partial x}{L^2(x,t)}\right)dx^2\\ =\left[\frac{\partial }{\partial t}\int_\xi^x\frac{1}{L(u,t)}du\right]dt+\left(\frac{1}{L(x,t)}\right)(f(x,t)dt+L(x,t)d\beta)+\frac{1}{2}\left(-\frac{\partial L(x,t)/\partial x}{L^2(x,t)}\right)L^2(x,t)dt\\ =\left(\frac{\partial}{\partial t}\int_\xi^x\frac{1}{L(u,t)}du+\frac{f(x,t)}{L(x,t)}-\frac{1}{2}\frac{\partial L(x,t)}{\partial x}\right)dt+d\beta \end{align}$

假如$x=h^{-1}(y,t)$存在，那么我们就可以构造出

$g(y,t)=\left(\frac{\partial}{\partial t}\int_\xi^x\frac{1}{L(u,t)}du+\frac{f(x,t)}{L(x,t)}-\frac{1}{2}\frac{\partial L(x,t)}{\partial x}\right)\Big|_{x=h^{-1}(y,t)}$

Girsanov Theorem

希望将原本的概率分布转变为另一个概率分布，可以通过该定理进行测度变换，使得仅改变SDE中的漂移项系数，而不改变扩散项前的方差系数。【有待进一步补充】

Doob’s h transform

在一个给定的SDE下，我们可以通过It$\hat o$积分或者Kolmogorov方程求解出其对应的随时间变化的密度转移函数。有时候我们希望对已有的一个SDE过程进行修正，使其密度转移函数更加满足我们的期望(比如更加倾向于朝着某个方向移动)，Doob’s h transform就是这样的一个数学工具，使得我们可以按照自己期望的策略对现有的SDE的密度转移函数进行修改，并进而反推出其对应的SDE究竟应该是什么样的。

定义$p({\bf y},t’|{\bf x},t):=p({\bf y}(t’)|{\bf x}(t))$为现在SDE的状态转移密度函数。那么我们现在可以定义另一个马尔可夫过程的状态转移密度函数$p^h({\bf y},t’|{\bf x},t):=p^h({\bf y}(t’)|{\bf x}(t))$

$p^h({\bf y},t+s|{\bf x},t)=p({\bf y},t+s|{\bf x},t)\frac{h(t+s,{\bf y})}{h(t,{\bf x})}$

其中函数$h(t,{\bf x})$就是我们设定的修正项，使得在$t$时刻处于状态${\bf x}$的随机变量在$t+s$时刻【相较于原本的状态转移密度函数】更倾向于移动向$h(t+s,{\bf y})$大于$h(t,{\bf x})$的状态${\bf y}$。当然，为了保证调整之后的状态转移密度函数仍然是归一化的，$h(t,{\bf x})$需要满足如下的时空正则特性【对于任意$s>0$均成立】

$h(t,{\bf x})=\int p({\bf y},t+s|{\bf x},t)h(t+s,{\bf y})d{\bf y}$

$h(t,{\bf x})$满足上述时空正则特性时，可以保证上述等式中$p^h({\bf y},t+s|{\bf x},t)$的积分为$1$。

广义生成器：对于$\phi({\bf x},t)$，其具有广义生成器【这里Simo Särkkä的书中的定义貌似是错的，应该将期望改为条件期望】
$\mathcal{A}_t\phi({\bf x},t)=\lim_{s\downarrow 0}\frac{\mathbb{E}[\phi({\bf x}(t+s),t+s)|{\bf x}(t)]-\phi({\bf x}(t),t)}{s}$
【下箭头表示单调递减收敛于】

特别的，对于如下SDE
$d{\bf x}={\bf f}({\bf x},t)dt+{\bf L}({\bf x},t)d\beta$
其广义生成器满足如下形式
$\mathcal{A}_t(\cdot)=\frac{\partial(\cdot)}{\partial t}+\sum_i\frac{\partial (\cdot)}{\partial x_i}f_i({\bf x},t)+\frac{1}{2}\sum_{i,j}\left(\frac{\partial^2(\cdot)}{\partial x_i\partial x_j}\right)[{\bf L}({\bf x},t){\bf Q}{\bf L}^T({\bf x},t)]_{ij}$

我们可以验证

$\begin{align} \mathbb{E}[h(t,{\bf x})]\\ =\int p({\bf x},t)\int p({\bf y},t+s|{\bf x},t)h(t+s,{\bf y})d{\bf y}d{\bf x}\\ =\int p({\bf y},t+s)h(t+s,{\bf y})d{\bf y}\\ =\mathbb{E}[h(t+s,{\bf x})] \end{align}$

证明$h(t,{\bf x})$的期望是不随着时间变化的，进一步，我们还可以证明$h(t,{\bf x})$是鞅【给定过去序列，其未来期望为过去序列的末尾值】【不过这个严格意义上来说，也不是鞅，因为条件不是一个序列】【下面这个证明用到了SDE马尔科夫链性质】

$\begin{align} \mathbb{E}[h(t+s,{\bf x}(t+s)|{ {\bf x}(t)}]\\ =\int p({\bf x}',t+s|{\bf x},t)\int p({\bf y},t+s'|{\bf x}',t+s)h(t+s',{\bf y})d{\bf y}d{\bf x}'\\ =\int p({\bf y},t+s'|{\bf x},t)h(t+s,{\bf y})d{\bf y}\\ =h(t,{\bf x}) \end{align}$

这也意味着$\mathcal{A}_t h(t,{\bf x})=0$。那么下面我们可以基于生成元的性质来推理出根据$h(t,{\bf x})$修正后的随机过程的SDE形式【Simo Särkkä的书中的这一部分有一点typo错误】

$\begin{align} \mathcal{A}^h_t\phi({\bf x})\\ =\lim_{s\downarrow 0}\frac{\mathbb{E}^h[\phi({\bf x}(t+s))|{\bf x}(t)]-\phi({\bf x}(t))}{s}\\ =\lim_{s\downarrow 0}\frac{\mathbb{E}^h[\phi({\bf x}(t+s))h(t+s,{\bf x})|{\bf x}(t)]-\phi({\bf x}(t))h(t,{\bf x})}{sh(t,{\bf x})}\\ =\frac{1}{h(t,{\bf x})}\mathcal{A}_t\{h(t,{\bf x})\phi({\bf x})\}\\ =\frac{1}{h(t,{\bf x})}\Bigg\{\underbrace{\left[\frac{\partial h(t,{\bf x})}{\partial t}+\sum_i\frac{\partial h(t,{\bf x})}{\partial x_i}f_i({\bf x},t)+\frac{1}{2}\sum_{i,j}\left(\frac{\partial^2h(t,{\bf x})}{\partial x_i\partial x_j}\right)[{\bf L}({\bf x},t){\bf Q}{\bf L}^T({\bf x},t)]_{ij}\right]}_{\mathcal{A}_th(t,{\bf x})=0}\phi({\bf x})\\ +\sum_i h(t,{\bf x})\frac{\partial\phi({\bf x})}{\partial x_i}f_i({\bf x},t)+\frac{1}{2}\sum_{i,j}\Bigg[\frac{\partial h(t,{\bf x})}{\partial x_j}\frac{\partial \phi({\bf x})}{\partial x_i}+\frac{\partial h(t,{\bf x})}{\partial x_i}\frac{\partial\phi({\bf x})}{\partial x_j}\\ +h(t,{\bf x})\frac{\partial^2\phi({\bf x})}{\partial x_i\partial x_j}\Bigg][{\bf L}({\bf x},t){\bf Q}{\bf L}^T({\bf x},t)]_{ij}\Bigg\}\\ =\frac{1}{h(t,{\bf x})}\Bigg\{\sum_i h(t,{\bf x})\frac{\partial\phi({\bf x})}{\partial x_i}f_i({\bf x},t)+\frac{1}{2}\sum_{i,j}\Bigg[\frac{\partial h(t,{\bf x})}{\partial x_j}\frac{\partial \phi({\bf x})}{\partial x_i}+\frac{\partial h(t,{\bf x})}{\partial x_i}\frac{\partial\phi({\bf x})}{\partial x_j}\\ +h(t,{\bf x})\frac{\partial^2\phi({\bf x})}{\partial x_i\partial x_j}\Bigg][{\bf L}({\bf x},t){\bf Q}{\bf L}^T({\bf x},t)]_{ij}\Bigg\}\\ =\sum_i\Bigg[f_i({\bf x},t)+\left[{\bf L}({\bf x},t){\bf Q}{\bf L}^T({\bf x},t)\frac{\nabla h(t,{\bf x})}{h(t,{\bf x})}\right]_i\Bigg]\frac{\partial\phi({\bf x})}{\partial x_i}+\frac{1}{2}\sum_{ij}\frac{\partial^2\phi({\bf x})}{\partial x_i\partial x_j}[{\bf L}({\bf x},t){\bf Q}{\bf L}^T({\bf x},t)]_{ij} \end{align}$

对比我们提到出的形式，对照生成元和SDE的对应关系，可以得到新的状态转移函数对应的SDE为

$\begin{align} d{\bf x}=\left[{\bf f}({\bf x},t)+{\bf L}({\bf x}){\bf Q}{\bf L}^T({\bf x},t)\frac{\nabla h(t,{\bf x})}{h(t,{\bf x})}\right]dt+{\bf L}d\beta\\ =\left[{\bf f}({\bf x},t)+{\bf L}({\bf x}){\bf Q}{\bf L}^T({\bf x},t)\nabla\log h(t,{\bf x})\right]dt+{\bf L}d\beta \end{align}$

在有个这个变换之后，我们实际上可以修改任何形式的扩散模型，使其在特定时刻变为我们想要的定点，比如我们想要调整某个现有扩散过程，使其在$T$时刻到达${\bf x}(T)$，那么调整后的SDE应该为如下所示

$d{\bf x}=[{\bf f}({\bf x},t)+{\bf L}({\bf x},t){\bf Q}{\bf L}^T({\bf x},t)\nabla_{ {\bf x}(t)}\log p({\bf x}(T)|{\bf x}(t))]dt+{\bf L}({\bf x},t)d\beta$

证明比较简单，根据贝叶斯法则

$\begin{align} p({\bf x}(t+s)|{\bf x}(t),{\bf x}(T))=\frac{p({\bf x}(T)|{\bf x}(t+s),{\bf x}(t))p({\bf x}(t+s)|{\bf x}(t))}{p({\bf x}(T)|{\bf x}(t))}\\ =\frac{p({\bf x}(T)|{\bf x}(t+s))p({\bf x}(t+s)|{\bf x}(t))}{p({\bf x}(T)|{\bf x}(t))} \end{align}$

我们希望调整后的状态转移函数$p({\bf x}(t+s)|{\bf x}(t))$的行为近似于$p({\bf x}(t+s)|{\bf x}(t),{\bf x}(T))$的行为，这样的话，我们只需令

$h(t,{\bf x})=p({\bf x}(T)|{\bf x}(t))$

这个$h$实际上也是自然满足时空约束的(当然，即使不满足，我们或许也可以设法增加一些修正因子)

$p({\bf x}(T)|{\bf x}(t))=\int p({\bf x}(t+s)|{\bf x}(t))p({\bf x}(T)|{\bf x}(t+s))d{\bf x}(t+s)$

对于上述求解得到的SDE，很容易可以求得其反向过程SDE

$d{\bf x}=\{ \hat{\bf f}({\bf x},t)-\nabla_{\bf x}\cdot[{\bf L}({\bf x},t){\bf L}({\bf x},t)^T]-{\bf L}({\bf x},t){\bf L}({\bf x},t)^T\nabla_{\bf x}\log \hat q({\bf x},t)\}dt+{\bf L}({\bf x},t)d\bar{\bf w}$

其中

$\hat{\bf f}({\bf x},t)={\bf f}({\bf x},t)+{\bf L}({\bf x},t){\bf Q}{\bf L}^T({\bf x},t)\nabla_{ {\bf x}(t)}\log p({\bf x}(T)|{\bf x}(t))$

$\hat q({\bf x},t)$为新的SDE过程的概率分布【其实就等于$p({\bf x}(t)|{\bf x}(T))$】。其对应的反向(ODE其实无所谓正向和反向)ODE为

$\begin{align} d{\bf x}=\left\{ \hat{\bf f}({\bf x},t)-\frac{1}{2}\nabla\cdot[{\bf L}({\bf x},t){\bf L}({\bf x},t)^T]-\frac{1}{2}{\bf L}({\bf x},t){\bf L}({\bf x},t)^T\nabla_{ {\bf x}(t)}\log \hat q_t({\bf x})\right\}dt\\ =\Bigg\{ {\bf f}({\bf x},t)+{\bf L}({\bf x},t){\bf Q}{\bf L}^T({\bf x},t)\nabla_{ {\bf x}(t)}\log p({\bf x}(T)|{\bf x}(t))-\frac{1}{2}\nabla\cdot[{\bf L}({\bf x},t){\bf L}({\bf x},t)^T]-\\ \frac{1}{2}{\bf L}({\bf x},t){\bf L}({\bf x},t)^T\nabla_{ {\bf x}(t)}\log p({\bf x}(t)|{\bf x}(T))\Bigg\}dt \end{align}$