论文链接:https://arxiv.org/abs/2106.03746
项目链接:未开源
视觉Transformer(VT) 正在成为卷积网络 (CNN) 结构范式的一种替代方案。与CNN不同,VT可以捕获图像元素之间的全局关系,并且它具有更强的表示能力。然而,由于缺乏卷积的归纳偏置,这些VT模型比普通CNN更需要数据,因为VT需要从大量的数据中学习这类信息。
在本文中,作者对不同的VT进行了实验分析,比较了它们在小训练集中的鲁棒性,结果表明,尽管在ImageNet上训练时具有相当的精度,但它们在较小数据集上的性能会有很大的不同。因此,作者提出了一种自监督的任务,该任务可以从图像中提取其他信息,而计算开销却可以忽略不计。
此任务鼓励VT学习图像中的空间关系,并在训练数据不足时使VT训练更加鲁棒。本文的自监督任务可以与监督任务联合使用,并且它不依赖于特定的网络结构,因此它可以很容易地插入现有的VT中。基于不同的VT结构和数据集进行广泛的评估,作者证明了本文的方法可以提高 VT的准确率。
01
02
03
04
END
联系客服