Abstract

快照压缩成像(SCI)的目的是在单个快照中使用2D传感器（检测器）捕获高维（通常是3D）图像。虽然享受低带宽、低功耗和低成本的优势，但在日常生活中将SCI应用于大规模问题(高清或UHD视频)仍然具有挑战性。瓶颈在于重构算法；它们要么太慢（迭代优化算法），要么对编码过程（基于深度学习的端到端网络）不灵活。在本文中，我们开发了基于即插即用(PnP)框架的快速、灵活的SCI算法。除了广泛使用的PnP-ADMM方法外，我们还进一步提出了计算工作量较低的PnP-GAP（广义交替投影）算法，并证明了PnP-GAP在SCI硬件约束下的全局收敛性。通过采用深度去噪先验，我们首次证明了PnP可以从快照2D测量中恢复UHD彩色视频(3840×1644×48，PNSR超过30dB)。在仿真和真实数据集上的大量结果验证了我们提出的算法的优越性。

1. Introduction

计算成像的一个重要分支是快照压缩成像(SCI)[23,45]，它利用一个二维(2D)相机来捕获3D视频或光谱数据。与传统相机不同的是，这种成像系统根据传感矩阵对一组连续的图像（如CACTI[23,60]）或光谱通道(如CASSI[46])进行采样，并将这些采样信号沿时间或频谱进行集成，以获得最终的压缩测量值。通过这种技术，SCI系统[12,15,36,42,45,46,60]可以捕获高速运动[40,41,61,62,68,70]和高分辨率光谱信息[28,69,37]，但具有低内存、低带宽、低功耗和潜在的低成本。在这项工作中，我们专注于视频SCI重建。

为了解决SCI重建的速度、准确性和灵活性三个问题，本文做出了以下贡献：

• 受ADMM框架的即插即用(PnP)交替方向方法的启发，我们将PnP-ADMM扩展到SCI，并通过考虑硬件约束和SCI中的感知矩阵[18]的特殊结构，证明了PnP-ADMM收敛到一个不动点。

• 我们提出了一种有效的PnP-GAP算法，通过在GAP中使用各种有界去噪器(图2)，该算法的计算工作量比PnP-ADMM要低。除了不动点收敛外，我们还进一步证明了在适当的假设下，PnP-GAP的解将收敛于真信号。据我们所知，这是SCI的第一个全局收敛结果，这也适用于加性高斯白噪声下。
  

• 通过集成深度图像去噪，例如，快速和灵活的FFDNet到PnP-GAP，我们表明FHD视频（1920×1080×24）可以恢复从快照测量(图5)在2分钟内PSNR接近30dB使用一个GPU加上一个普通计算机。与端到端网络相比，节省了大量的资源（不需要再训练）。这进一步使得使用SCI进行UHD压缩成为可行的(图1中使用PSNR在30dB以上重建一个3840×1644×48视频)。据我们所知，这是SCI首次用于这些大规模问题。
  

• 我们将我们开发的PnP算法应用于广泛的模拟和真实的数据集(由真实的SCI相机捕获)，以验证我们所提出的算法的效率和鲁棒性。我们表明，该算法可以获得与DeSCI相同的结果，但显著减少了计算时间。

2. Mathematical Model of SCI

如图1所示，在视频SCI系统中，考虑到B帧视频$X\in R^{n_x\times n_y\times B}$被B个感知矩阵（掩模）$C\in R^{n_x\times n_y\times B}$调制和压缩，测量帧$Y\in R^{n_x\times n_y}$可以表示为[23,60]：
$$\mathbf{Y}=\sum _{b=1}^B{\mathbf{C}}_{\mathbf{b}}\odot {\mathbf{X}}_{\mathbf{b}}+\mathbf{Z}\text{\hspace{1em}(1)}$$其中$Z\in R^{n_x\times n_y}$表示噪声；$C_b=C(:,:,b)$和$X_b=X(:,:,b)\in R^{n_x\times n_y}$代表第b个感知矩阵（掩码）和相应的视频帧。
在数学上，（1）中的测量值可以表示为
$$\mathbf{y}=\mathbf{H}\mathbf{x}+\mathbf{z}\text{\hspace{1em}(2)}$$其中$y=Vec(y)\in {\mathbb{R}}^{n_x{n}_y},z=Vec(Z)\in {\mathbb{R}}^{n_x{n}_y}$ ，高光谱图像向量$x\in {\mathbb{R}}^{n_x{n}_y\mathbb{B}}$表示为
$$x=Vec(X)=[Vec(X_1{)}^T,...,Vec(X_B{)}^T{]}^T\text{\hspace{1em}(3)}$$
与传统的压缩感知[5]不同，高光谱图像SCI中的感知矩阵$H\in R^{n_x{n}_y\times n_x{n}_{y}B}$并不是一个密集的矩阵。H的特殊结构可以表示为
$$\mathbf{H}=[{\mathbf{D}}_1,...,{\mathbf{D}}_{\mathbf{B}}].\text{\hspace{1em}(4)}$$其中${\mathbf{D}}_b=diag(Vec({\mathbf{C}}_b))\in {\mathbb{R}}^{n\times n},n=n_x{n}_y，b=1,...,B$. 由于$\mathbf{x}\in {\mathbb{R}}^{n_x{n}_{y}B}$且$\mathbf{H}\in {\mathbb{R}}^{n_x{n}_y\times n_x{n}_{y}B}$，SCI的采样率为1/B。[9,10]从理论上证明了当B>1时，x从y中恢复是可能的。

在彩色视频案例中，如图1、5和7，一般使用的拜耳(Bayer)模式传感器捕获的原始数据具有“RGGB”通道。由于掩模是施加在每个像素上的，生成的测量可以被视为如图6所示的灰度图像，当它以颜色显示时，由于掩模调制，脱色过程不能产生正确的颜色（图5）。因此，在重建过程中，我们首先独立恢复这四个通道，然后在重建的视频中进行除色。最终的RGB视频是所需的信号[60]。

3. Plug-and-Play ADMM for SCI

SCI的反演问题可以被建模为
$$\hat{x}=\underset{x}{\mathrm{argmin}}f(x)+\lambda g(x)\text{\hspace{1em}(5)}$$其中f(x)可以看作是正向成像模型的损失，即$||y-Hx|{|}_2^2$，g(x)是正则项。

3.1. Review the Plug-and-Play ADMM in [9]

通过使用ADMM框架[3]，通过引入一个辅助参数v，即等式中的无约束优化（5）可以被转换为

这个最小化可以通过以下一系列的子问题来解决

而在SCI和其他反演问题中，$f(x)$通常是一种二次形式，对等式(7)有多种解，在PnP-ADMM中，等式（8）的解被一种现成的去噪算法所取代，即
$$v^{k+1}=D_{\sigma }(x^k+\frac{1}{\rho }{u}^k)\text{\hspace{1em}(10)}$$其中，$D_{\sigma }$表示所使用的去噪器，σ为假设的加性高斯白噪声的标准差。在[9]中，作者提出使用${\rho }_{k+1}={\gamma }_k{\rho }_k$和${\gamma }_k\ge 1$在每次迭代中更新ρ并为去噪器设置${\sigma }_k=\sqrt{\lambda /{\rho }_k}$。由此定义了有界去噪器，并证明了PnP-ADMM的不动点收敛性。

Definition 1. 一个带有参数为σ的有界去噪器是一个函数$D_{\sigma }:R^n\to R^n$，对于任何输入$x\in R^n$满足
$$\frac{1}{n}||D_{\sigma }(x)-x|{|}^2\le {\sigma }^{2}C,\text{\hspace{1em}(11)}$$对于一个独立于n和σ的通用常数C。
有了这个定义(去噪约束)和$f:[0,1{]}^n\to R$的有界梯度，即对于任何$x\in [0,1{]}^n$，存在$L<\infty$，使得$||\nabla f(x)|{|}_2/\sqrt{n}\le L$.
[9]的作者已经证明了：PnP-ADMM的迭代证明了一个不动点收敛。即存在$(x^{\ast },v^{\ast },u^{\ast })$，使得当$k\to \infty$时，$||x^{(k)}-x^{\ast }|{|}_2\to 0,||v^{(k)}-v^{\ast }|{|}_2\to 0,||u^{(k)}-u^{\ast }|{|}_2\to 0$.

3.2. PnP-ADMM for SCI

在SCI中，使用在等式(2)中的模型，$x\in R^{nB}$，我们认为损失函数f(x)为$$f(x)=\frac{1}{2}||y-Hx|{|}_2^2\text{\hspace{1em}(12)}$$考虑到所有的像素值都被归一化为[0,1]。

$proof:$完整证明见补充材料(SM)。在这里，我们将给出关键步骤。$f(x)$的梯度为$$\nabla f(x)=H^{T}Hx-H^{T}y,\text{\hspace{1em}(13)}$$其中H是等式(4)中定义的大小为$n\times nB$的块对角矩阵，$H^{T}y$是非负的，因为测量y和掩模在本质上都是非负的，而$H^{T}Hx$是x的加权和并且$||H^{T}Hx|{|}_2\le B{C}_{max}||x|{|}_2$的加权和，其中$C_{max}$是感知矩阵中的最大值。通常，感知矩阵被归一化为[0,1]，这导致$C_{max}=1$，因此$||H^{T}Hx|{|}_2\le B||x|{|}_2$

此外，如果掩模元素$D_{i,j}$是来自一个具有{0,1}的二进制分布，$p_1\in (0,1)$的概率为1，那么$||H^{T}Hx|{|}_2\le p_{1}B||x|{|}_2$的概率很高；通常，$p_1=0.5$，因此有$||H^{T}Hx|{|}_2\le 0.5B||x|{|}_2$。
$||H^{T}Hx|{|}_2\le B||x|{|}_2\stackrel{\sigma =1}{=}B||x|{|}_2$在下面，我们只考虑非负掩模在实际系统中被归一化为[0,1]。

回想一下，在（4）中， { D i } i = 1 B \{D_i\}^B_{i=1} {Di​}i=1B​是一个对角矩阵，我们表示它的对角元素为
$$D_i=diag(D_{i,1},...,D_{i,n})\text{\hspace{1em}(14)}$$因此，在SCI中，$H{H}^T$是对角线矩阵，即$$\mathbf{R}=H{H}^T=diag(R_1,...,R_n)\text{\hspace{1em}(15)}$$Assumption 1. 假设 { R j } j = 1 n > 0 \{R_j\}^n_{j=1}>0 {Rj​}j=1n​>0。这意味着对于每个空间位置j，该位置上的b帧调制掩码至少有一个非零项，进一步假设$R_{max}>R_{min}$。
这一假设在硬件中具有意义，因为我们预计在感知过程中，每个像素至少有一个B帧被捕获。引理1和定义1中的有界去噪器给出了下面的推论。
推论1. 考虑（2）中的SCI的感知模型，并进一步假设感知矩阵中的元素满足假设1。给定 { H , y } , x \{H,y\},x {H,y},x是通过具有有界去噪的PnP-ADMM迭代求解，则$x^{(k)}$和${\theta }^{(k)}$将收敛到一个不动点。

4. Plug-and-Play GAP for SCI

在本节中，根据GAP算法和上述关于PnP-ADMM的条件，我们提出了针对SCI的PnP-GAP，如前所述，它比PnP-ADMM具有更低的计算工作负载（因此更快）。

4.1. Algorithm

不同于等式(6)中的ADMM，GAP通过以下问题解决SCI

• Solving $x$：给定$v,x^{(k+1)}$通过$v^{(k)}$在线性流形$M:y=Hx$上的欧几里得投影进行更新
  $$x^{(k+1)}=v^{(k)}+H^T(H{H}^T{)}^{-1}(y-H{v}^{(k)})$$如(15)中定义的，$(H{H}^T{)}^{-1}$是一个对角线矩阵，这已经被用于许多SCI反演问题。
• Solving $v$：给定$x$，更新$v$可以看作是一个去噪问题
  $$v^{(k+1)}=D_{\sigma }(x^{k+1})\text{\hspace{1em}(20)}$$这里，可以使用各种去噪器且$\sigma =\sqrt{\lambda }$。
  在每次迭代中，唯一需要调整的参数是$\lambda$，因此我们将${\xi }_k\le 1$设置为${\lambda }_{k+1}={\xi }_k{\lambda }_k$。受PnP-ADMM的启发，我们根据以下两条规则更新$\lambda$：
• a) 通过设置${\lambda }_{k+1}=\xi {\lambda }_k$与$\xi <1$单调更新;
• b) 通过考虑相对残差而进行的自适应更新：
  
  对于任何$\eta \in [0,1)$，并让ξ<1为一个常量，${\lambda }_k$将根据以下设置有条件地更新：
  

4.2. Fixed-point Convergence

下面，我们首先证明了PnP-GAP的不动点收敛性，然后在下一小节中证明了其全局收敛性。从等式开始（19），有

同样，$y=H{x}^{(k)}$，这是GAP的关键属性，也是GAP和ADMM的主要区别。根据(19)有

由此可得

其中，最后两个方程遵循SM中引理1和2的结果。这就导致了下面的收敛结果。

Theorem 1. 考虑(2)中的SCI的感知模型，并进一步假设感知矩阵中的元素满足假设1。给定{H，y}，x通过具有有界去噪器的PnP-GAP迭代求解，则$x^{(k)}$和$v^{(k)}$将收敛到一个不动点。
$proof:$完整的证明是在SM中，它遵循了等式（26）和一个关键的结果是
$$||{\theta }^{(k+1)}-{\theta }^{(k)}|{|}_2^2\le 7nBC{\lambda }_0{\xi }^{k-1}\text{\hspace{1em}(27)}$$其中，${\theta }^{(k)}=(x^{(k)},v^{(k)})$，其他步骤遵循推论1的证明。
Remark 1. 上述PnP-GAP的收敛结果也符合噪声测量结果。事实上，这个证明是与噪音无关的。这是因为$x^{(k)}$的更新方程总是满足$y=H{x}^{(k)}$。考虑噪声测量，即$y=H{x}^{\ast }+z$，其中$z\in {\mathbb{R}}^n$表示测量噪声。虽然这里的测量y与无噪声的情况不同，但我们仍然在每次迭代中强制执行$y=H{x}^{(k)}$。
值得注意的是，我们已经证明了不动点的收敛性，但$x^{(k)}$可能不收敛于真信号$x^{\ast }$。我们证明了这种全局收敛可以在PnP-GAP中得到证明，而PnP-ADMM则具有挑战性。

4.3. Global Convergence of Plug-and-Play GAP

Assumption 2. 在SCI中，只有一个真实的信号$x^{\ast }$满足测量模型$y=H{x}^{\ast }$。
在实际情况下，可能有不止一个信号满足$y=Hx$，这个正向模型可能是物理成像系统的一个（线性）近似。利用这个假设，我们得到了以下PnP-GAP的全局收敛结果。
Theorem 2. [Global convergence of PnP-GAP] 考虑(2)中的SCI感知模型，并进一步假设感知矩阵中的元素满足假设1。考虑真正的信号$y=H{x}^{\ast }$。在给定{H，y}的情况下，通过具有有界去噪器的PnP-GAP迭代求解$\hat{x}$。对于一个恒定的$C_g>0$和$0<\varphi <1$.

$proof:$ 从(19)开始，我们有

根据在（25）中的推导


注意，由于$\sqrt{1-\frac{R_{min}}{R_{max}}}<1$和$\xi <1$，因此，当$k\to \infty$

在（28）中，定义

证毕。

注意，我们在假设1中假设了$R_{min}<R_{max}$。否则，定理2得到$||x^{(k+1)}-x^{\ast }|{|}_2=0$

Theorem 3. [Stable convergence of PnP-GAP]考虑定理2中相同的条件，但现在的噪声测量$y=H{x}^{\ast }+z$和$||z|{|}_2\le ϵ$。在给定{H，y}的情况下，通过具有有界去噪器的PnP-GAP迭代求解$\hat{x}$。对于一个恒定的$C_g>0$和$0<\varphi <1$，

$proof:$ 与使用$y=H{x}^{\ast }$的（29）不同，现在我们有(完整的细节在SM中)

取两侧的${\ell }_2$范数，并利用（30）的一些推导结果，

4.4. PnP-ADMM vs. PnP-GAP

通过比较(19)-(20)中的PnP-GAP和(7)-(9)中的PnP-ADMM，我们可以发现PnP-GAP只有两个子问题(而PnP-ADMM中的有三个子问题)，因此计算速度更快。[22]指出，在无噪声情况下，ADMM和GAP的性能相同，并得到了数学证明。然而，在有噪声的情况下，ADMM通常表现得更好，因为它考虑了模型中的噪声，下面我们给出了一个几何解释。

如图所示，我们使用一个二维稀疏信号作为一个例子，我们可以看到，由于GAP强加$y=H\hat{x}$，GAP的解$\hat{x}$总是在绿线（由于噪声，这条线可能会偏离实绿线真正的单一所在）。然而，ADMM的解没有这个约束，而是最小化$||y-Hx|{|}_2^2$，它可以根据初始化在红圆或黄色圆中。在无噪声的情况下，GAP和ADMM都将有很大的机会收敛到真信号$x^{\ast }$。然而，在有噪声的情况下，GAP解与真信号之间的欧氏距离($||\hat{x}-x^{\ast }|{|}^2$)之间的欧氏距离可能大于ADMM。同样，ADMM的最终解决方案取决于初始化，它不能保证比GAP更准确。

5.将各种去噪器整合到PnP中进行SCI重建

从等式上就可以看到它定理2中的（28）重构误差项依赖于$C_g{\varphi }_k$，从（35）中观察到 { n , B , R m i n , R m a x } \{n,B,R_{min},R_{max}\} {n,B,Rmin​,Rmax​}是固定的， { λ 0 , ξ } \{λ_0,ξ\} {λ0​,ξ}是预设或调整的，只有C依赖于有界去噪算法。换句话说，一个更好的去噪器和一个较小的C可以提供一个更接近真实信号的重建结果。基于速度和质量的不同任务存在不同的去噪算法。通常，一个更快的去噪器，如TV，是非常有效的，但不能提供高质量的结果。中级的算法，例如BM3D[10]，可以以较长的运行时间提供良好的结果。更先进的去噪算法，例如，WNNM[14,13]可以提供更好的结果，[22]，但甚至更慢。另一种新兴的去噪方法是基于深度学习[48,73]，它可以在训练后的短时间内提供良好的结果，但它们通常对噪声水平不鲁棒，在高噪声情况下，结果并不好。与传统的去噪问题不同，在SCI重建中，每次迭代的噪声水平通常从大到小，动态范围可以从150到1，考虑到像素值在{0,1,…,255}。幸运的是，FFDNet[74]为我们提供了一个在不同噪声水平下快速、灵活的解决方案。

通过将这些去噪算法集成到PnPGAP/ADMM中，我们可以得到不同的算法（表1和图2），并得到不同的结果。值得注意的是，DeSCI可以看作是PnP-WNNM，利用不同视频帧间的相关性可以取得最佳效果。另一方面，大多数现有的深度去噪先验仍然是基于图像的。因此，预计PnP-GAP/ADMM-FFDNet的结果不如DeSCI好。我们预计，随着深度去噪先验的进步，更好的视频去噪方法将提高我们基于pnp的SCI重建结果。此外，这些不同的去噪器可以并行使用，即在一个GAP/ADMM迭代中相互使用或依次使用，即使用FFDNet的第一次K1迭代和使用WNNM的第二次K2迭代，以获得更好的结果。