人工退化模型并不能很好地描述真实视频中复杂的退化过程,从而导致训练后的VSR模型在实际应用中失效。本文使用iPhone 11 Pro Max的多摄像头系统,通过捕捉配对的LR-HR视频序列,构建了一个真实世界的视频超分辨率(RealVSR)数据集。由于LR-HR视频对是由两个独立的摄像机拍摄的,它们之间不可避免地存在一定的错位和亮度/颜色差异。 为此,本文提出了一个具体的RealVSR训练策略,将LR-HR视频转换为YCbCr空间,并将亮度通道分解为拉普拉斯金字塔,然后对不同分量应用不同的损失函数。实验证明,在RealVSR数据集上训练的VSR模型比在合成数据集上训练的模型具有更好的视觉质量。在跨摄像机测试中也表现出良好的泛化能力。
02
方法
RealVSR数据集
RealVSR数据集是使用带有DoubleTake app的双摄像头功能的iPhone 11 Pro Max手机构建的,如下图所示。
DoubleTake app可以通过两个不同焦距的摄像头,在不同比例下捕捉到两个近似同步的高清视频序列。iPhone 11 Pro Max有三个后置摄像头:一个镜头相当于13mm的超广角摄像头,一个镜头相当于26mm的广角摄像头,还有一个镜头相当于52mm的长焦摄像头。 三个摄像头都能拍摄1200万像素的照片。较大焦距的相机可以捕捉到更精细的细节,比例系数等于焦距的比值。考虑到超广角镜头失真严重,裁剪后的图像质量较差,本文以52mm镜头相机捕获的序列作为HR序列,以26mm镜头相机捕获的序列生成相应的LR序列,得到×2VSR的数据集。 值得一提的是×2缩放是目前实际VSR的主要需求。RealVSR共有700多对序列。每对由两个同步序列组成,帧率为30fps,分辨率为1080P。为了保证数据集的多样性,采集的序列覆盖了各种场景,包括室外和室内场景、白天和夜间场景、静止场景和有移动物体的场景等。数据集中的序列拥有各种运动,包括摄像机运动和物体运动。 在收集数据后,手动选择并排除了大约200个质量较差的序列,如严重模糊、噪声、过度曝光或曝光不足的视频等。考虑到LR-HR序列之间不完全同步,排除了有严重错位问题的序列对。经过仔细的选择,数据集中保留了500个序列对。 最后,每个序列对中的LR帧和HR帧需要进行对齐,以便更容易地执行有监督的VSR模型训练。采用RealSR中的图像配准算法,逐帧对齐LR-HR视频。考虑到相邻帧之间可能存在一些小的配准漂移,本文使用5个相邻帧作为输入来计算中心帧的配准矩阵。对齐后,裁剪大小为1024×512的对齐序列的中心区域,消除边界周围的对齐伪影。为了进一步标准化数据集,切割了所有序列使其均为50帧。