论文标题:
VD-BERT: A Unified Vision and Dialog Transformer with BERT
论文作者:
Yue Wang, Shafiq Joty, Michael R. Lyu, Irwin King, Caiming Xiong, Steven C.H. Hoi
论文链接:
https://arxiv.org/abs/2004.13278
视觉对话(Visual Dialog)指的是给定一张图、它的标题和问题,我们需要给出这个问题的答案,在VD中,对话往往有多轮,而后面的问题会和前面的对话相关。
本文提出统一的视觉对话VD-BERT模型,联合编码视觉信息和文本信息,既适用于判别式方法,也适用于生成式方法。VD-BERT在视觉对话数据集VisDial实现了单个模型和集成模型上的最佳效果。
视觉对话
人类感知世界是“多模态”的而非“单模态”,学习知识也是在多模态的条件下进行的。
在所有的感知模态中,视觉和文本(语言),是其中最为重要的两类,而文本又是人类所独有的能力。
通过将视觉感知到的内容转换为文本信息,是我们了解世界的重要途径。视觉对话任务就是在模拟这个过程。
给定一副图片(或视频等视觉内容)和一个问题,我们可以根据图片内容去回答这个问题。
之后,我们还可以连续问若干问题,每个问题都有回答,如此根据图片和之前的对话进行下一轮对话,就是视觉对话,而找到每个问题的答案,就是视觉对话的目标。
这可以形式化为:
其中
有两种方法可以找到
从上式可以看到,视觉对话实际上有四个部分:视觉信息V,对话历史H,当前问题Q和当前回答A。
过去对视觉对话的研究大都采用注意力的方法,让回答A去关注Q,V和H。然而,这种方法不能直接让V和H之间建立联系,从而可能忽略过去的对话内容。
基于此,本文提出VD-BERT,用BERT去建模多个部分的联系,任意两个部分之间就可以通过自注意力完成交互,从而不丢失历史对话信息,如下图所示:
和BERT一样,本文使用MLM和NSP两个训练任务去训练VD-BERT,然后再通过Rank的方法微调VD-BERT,从而可以使用一个模型同时完成判别式和生成式两种生成方法。
总的来说,本文贡献如下:
使用预训练的BERT作为视觉对话模型,并通过MLM和NSP的训练得到一个统一模型;
在VisDial数据集上实现了单个模型和集成模型二者的最优结果;
可以同时应用在判别式和生成式两种生成方法上。
VD-BERT
VD-BERT的结构和流程十分简单。下图是VD-BERT的模型结构:
模型流程分为几步:得到视觉表征,得到文本表征,模型训练,模型微调。
视觉表征
本文使用Faster R-CNN得到36个对象视觉表征,用于编码图片的视觉信息,记为
文本表征
为了编码文本信息并让其和视觉信息充分结合,本文按照BERT,把历史对话以[EOT]为分隔符拼接起来,作为VD-BERT的文本部分,从而得到
模型训练
在得到视觉输入和文本输入后,把这两个再拼接起来作为VD-BERT整个的输入,得到
为了训练VD-BERT,本文提出两个,也是BERT所提出的训练任务:MLM和NSP。MLM和BERT一致,随机掩码文本部分15%的词,让模型去预测它。
NSP有所不同,VD-BERT所做的是,让模型的[CLS]去预测当前的候选回答
对于判别式方法,只需要从候选回答集中采样一些回答,然后再用NSP去预测是否正确即可;对于生成式方法,只需要一步一步预测
模型微调
除了一个回答是否是正确答案之外(0或1),VisDial v1.0还为每个候选答案给出了相关性得分,用于评判每个答案和正确答案之间的语义相关性,得分范围为0-1之间。于是,VD-BERT就可以使用NSP在此基础上进一步微调,而在推理的时候,只需要选择得分最大的那个答案即可。
实验
本文在视觉对话数据集VisDial v0.9和VisDial v1.0上实验,使用BERT-base作为VD-BERT骨干,使用Recall@K、MRR、Mean Rank和NDCG作为测评指标,其他实验细节详见原文。
下表是在VisDial v1.0上的结果,可以看到,VD-BERT在几乎所有指标上都超越了之前的模型。
特别注意到,微调的VD-BERT(*)只在NDCG上表现更好,而在其他指标上表现更差,这是因为NDCG衡量的回答的相关度,微调可以提高其表现,但是反而降低了在其他指标上的效果。
下表是在VisDial v0.9上的结果,可以看到,无论是判别式方法还是生成式方法,VD-BERT都能取得一致更好的效果。
下面来看看视觉信息和文本信息的交互情况。从下图可以看到,文本和图片中的对象是对应的。motorcycle关注了5和8(都是motorcycle),而he关注了4(人),helmet关注了4和8。
小结
本文提出VD-BERT,使用预训练的BERT作为统一的视觉对话模型,通过MLM和NSP的训练,VD-BERT能够很好建模视觉信息和文本信息及其之间的相互联系。
VD-BERT简单有效,不需要任何模型结构设计,也不需要多余的损失函数优化,更不需要额外的标注数据,就能实现SOTA表现。
多模态是近些年发展很快的一个领域,因为和人类获取信息的过程更接近,多模态能够更大地推动CV和NLP在现实的应用和落地。更好、更快的多模态模型是未来的一个持续性研究方向。
联系客服