笔者言： 现有循环VSR对于慢动作的长时间序列的处理并不理想，比如视频监控的应用中。由于不精确隐藏状态叠加，随着时间推移超分辨率结果会产生伪影。针对这个问题，本文从Lipschitz稳定性的角度分析并对VSR进行约束来稳定推理过程。
看点
循环VSR模型在推理小动作范围的长视频序列时（其中一些场景几乎没有移动），循环处理产生偏差导致高频伪影。本文首先构造了一个长时间序列数据集 — Quasi-Static，然后在这个数据集上揭示了这种不稳定性。通过Lipschitz稳定性理论，本文提出了一个稳定且有竞争力的循环VSR网络（Middle Recurrent Video Super-ResolutionM，RVSR）来解决上述问题。
由于计算和内存的限制，以及梯度消失和爆炸，循环VSR模型通常在7到12帧上进行训练。然后它们被用于推理任意长度序列。如下图所示，本文发现当推断低运动的长视频序列时（场景几乎不移动，e.g.准静态的相机），循环VSR网络会产生高频伪影。
这种意想不到的行为对于一些现实应用可能是至关重要的，比如在视频监控中，摄像机和场景都长时间保持静态。
循环VSR的稳定性
先介绍一下Lipschitz连续，满足如下性质的任意连续函数称为L-Lipschitz:可以看出满足K-Lipschitz的函数在任意两点之间的连线斜率小于等于L，那么也就是函数任意点的导数也小于等于L。VSR中，循环信息和输出图像在时间步t更新如下:
当收缩于，循环模型被认为是Lipschitz稳定的。假设由K个卷积层组成，其中有ReLU相互间隔。每个卷积层都可以用一个权重矩阵进行编码，权重矩阵由该层的核张量得到，是双块循环矩阵的块矩阵。由于ReLU的Lipschitz常数为1，L的数值为所有权重矩阵的谱范数乘积。约束1：硬Lipschitz约束(HL) ：。上式中的上界大多高估了L。例如，由权重矩阵和组成，则的唯一情况是的第一个右奇异向量与的第一个左奇异向量对齐。这种约束过于严格。约束2：软Lipschitz约束(SL) ：且最小化，其中为稳定秩。稳定秩是秩算子在矩阵的小扰动下稳定的近似。这种软约束在理论上不能保证Lipschitz稳定性，因此验证其不发散性是很重要的。为了加强这些约束，可以在训练阶段对卷积层应用稳定秩归一化 (SRNL)：将该层矩阵的谱范数设置为α，并在训练过程中最小化矩阵的稳定秩β。当β = 1时，相当于对矩阵进行谱归一化。在训练结束后，测试之前需要进行规范化步骤，因此算法在运行时和推断时不会引入任何开销和模型大小。无约束稳定循环VSR
将SRNL应用于的RLSP，这导致了一个稳定的网络，但VSR性能较差。这是因为最终的架构被限制为全局1-Lipschitz，而一个成功的超分函数不可能是1-Lipschitz的，因为一些频率需要增强。为此，本文定义了一种新的循环VSR网络，该网络在长序列上稳定且具有竞争力，如下：其中为特征，由硬Lipschitz约束。本网络的内部循环的所有层都是收缩的，这保证了它随着时间的推移的稳定性。这种网络在Lipschitz连续性方面不受全局约束，因为它的输入和输出网络是非收缩的，可以保持其充分的表达性。大部分的反卷积任务是通过和来完成的。MRVSR
本文设计了一个新的网络MRVSR来实现上述过程。如下图所示，结构很简单，由卷积和ReLU构成。Quasi-Static测试集
本文引入了一种新的长序列测试集，其中相机是准静态的，前景物体是移动的。它从vimeo.com和youtube.com下载视频，并提取了4个序列。其中前两个是Full HD和HD Ready，后两个是4K。HD和4K序列分别下采样2和4倍。这4个序列在帧数上分别有以下长度:379,379,379和172。它们构成Quasi-Static测试数据集。此外，第一个序列的视频包含更大数量的帧，称为，包含8782帧。所有这些序列都可以在https://github.com/bjmch/MRVSR上得到。实验
在处理的帧数量相对较少之前，现有的循环网络(RLSP, RSDN和FRVSR)的性能是最优的，仍然比基线模型更好。但在某一点上，它们的性能下降，变得比基线模型更差，这表明递归在每一帧都集成了有害信息。在Vid4上的平均PSNR，模型大小和运行时间，可以看到MRVSR在短时间序列上并不理想Quasi-Static测试集的第一个序列的第376帧的定性评估
本站仅提供存储服务，所有内容均由用户发布，如发现有害或侵权内容，请
点击举报。
