作者单位:苏黎联邦理工、鲁汶大学
看点
现有的盲图超分算法假设模糊核在整幅图像上具有空间不变性。然而,由于物体运动和失焦等因素,模糊核通常具有空间变异。为了解决这一问题,本文提出了一种用于空间变异核估计的互仿射网络MANet。
首先,它有一个适度的感受野以保持退化的局部性。其次,它使用互仿射卷积层,在不增加感受野、模型大小和计算负担的情况下增强特征的表达能力。MANet在合成图像和真实图像上的空间变异和不变核估计方面表现良好,并且在与非盲SR方法相结合时,也能获得最先进的盲SR性能。
方法
神经网络经常堆叠多层来建立具有大感受野的深层模型。然而,空间变异核估计任务需要保持退化的局部性。为此,本文提出了一个具有适度感受野的互仿射网络MANet,如下图所示:
MANet包含两个模块:特征提取和核重建模块。受U-Net启发,特征提取模块由卷积层、残差块、下采样器和上采样器组成。LR图像首先输入3×3卷积层提取图像特征,然后经过3个残差块。
一般来说,小的感受野意味着浅层网络,它从不同的图像块中学习核的表示能力较弱。一个可能的解决方案是增加通道数量。但是它带来了参数的二次增长和计算量的增加。为此,本文提出一种互仿射卷积层MAConv来解决这个问题,如下图所示:
首先将输入特征沿通道维度分为S个,的互补特征为,均输入到仿射变换模块中,仿射变换模块有一个全连接网络从学习变换参数和。然后用和对进行缩放和移位。整个过程被描述为:
实验
消融实验
END
联系客服