欢迎来到《每周CV论文推荐》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。
图像修复(补全)是一个非常基础的图像处理领域,也是一个难度较大的方向,随着生成对抗网络技术的成熟,基于GAN的图像修复在传统方法的基础上取得了非常大的进展,本次我们来简单给大家推荐一些初学者值得关注的工作。
作者&编辑 | 言有三
1 基本模型
由于GAN模型拥有很好的图像生成能力,对于需要修复的部位,直接使用GAN模型进行学习,通过对抗损失来约束生成比较真实的结果,Context encoders及其改进GLCIC模型就是最基本的模型,是研究基于GAN的图像修复问题必读的初级论文。
文章引用量:6000+
推荐指数:✦✦✦✦✦
[1] Pathak D, Krahenbuhl P, Donahue J, et al. Context encoders: Feature learning by inpainting[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 2536-2544.
[2] Iizuka S, Simo-Serra E, Ishikawa H. Globally and locally consistent image completion[J]. ACM Transactions on Graphics (ToG), 2017, 36(4): 1-14.
2 注意力模型
在图像修复领域中,不管是传统方法还是基于深度学习模型的方法,上下文信息都是非常重要的,因为待修复区域内容是完全缺失的,必须从未缺失区域中采集信息进行补全,注意力机制可以得到很好的应用。
文章引用量:1700+
推荐指数:✦✦✦✦✧
[3] Yu J, Lin Z, Yang J, et al. Generative image inpainting with contextual attention[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 5505-5514.
3 条件监督模型
由于图像修复问题本身难度较大,尤其是对于缺失区域面积较大的内容很难补全,如果有额外的信息监督,将有利于生成结果的稳定性,比如目标的边缘轮廓,或者其他确定性的语义信息,如人脸的关键点。
文章引用量:1500+
推荐指数:✦✦✦✦✦
[4] Yu J, Lin Z, Yang J, et al. Free-form image inpainting with gated convolution[C]//Proceedings of the IEEE International Conference on Computer Vision. 2019: 4471-4480.
[5] Xiong W, Yu J, Lin Z, et al. Foreground-aware image inpainting[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019: 5840-5848.
[6] Nazeri K, Ng E, Joseph T, et al. Edgeconnect: Structure guided image inpainting using edge prediction[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops. 2019: 0-0.
4 图像修复应用
图像修复的应用非常广泛,从水印去除,到照片的刮痕、异物、反光遮挡等信息去除,甚至于阴影去除,凡是在图中有不想要的目标,都可以使用图像修复方法进行去除,因此尽管图像修复问题比较难,研究的热度也一直不低。
文章引用量:200+
推荐指数:✦✦✦✦✧
[7] Ding B, Long C, Zhang L, et al. Argan: Attentive recurrent generative adversarial network for shadow detection and removal[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2019: 10213-10222.
[8] Wan Z, Zhang B, Chen D, et al. Bringing old photos back to life[C]//proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020: 2747-2757.
5 如何实战
为了帮助大家掌握基于GAN的图像修复问题!我们推出了相关的专栏课程《深度学习之图像增强GAN:理论与实践》,全面讲解基于GAN的图像降噪、色调映射、去模糊、超分辨、修复等问题,感兴趣可以进一步阅读:
本次我们介绍了基于GAN的图像修复的典型研究,从事相关方向的朋友可以通过阅读这些文章进行初步了解,作为一个比较底层的图像处理问题,当前得益于GAN等技术的进步,取得了许多不错的进展,是从事图像质量提升领域的朋友必须了解的工作。
有三AI- CV夏季划
联系客服