重磅！发表在人工智能顶刊(TPAMI)上的一篇文章表示脑电与计算机视觉的交叉存在缺陷和盲点

更多技术干货第一时间送达

普渡大学(PurdueUniversity)的研究人员正在从事人工智能和神经科学的交叉研究。在这张照片中，一名研究参与者戴着带有电极的脑电图帽。图片来源: Chris Adam/Purdue University

导读

最近的一篇论文[1]声称，利用EEG测量技术，对观看ImageNet刺激的受试者的大脑诱发进行分类，并采用从该处理中获得的表示来构建一种新型的目标分类器。该论文以及一系列后续论文[2-8]声称在各种计算机视觉任务上都取得了成功的结果，包括目标分类，迁移学习以及使用通过脑电图测量的脑源表征生成描述人类感知和思想的图像。

研究人员设计了新的实验，对实验结果进行分析，结果表明，之前论文的结果在很大程度上取决于他们采用的块设计(the block design)，即将给定类别的所有刺激都一起呈现。在快速事件设计中，将不同类别的刺激随机混合在一起。块设计基于已知在所有EEG数据中存在的区块级时间相关性，而不是与刺激相关的活动，对任意大脑状态进行分类。由于其测试集中的每个试验都与相应训练集中的许多试验来自同一块，因此，他们的块设计导致对数据的任意时间伪像进行分类，而不是与刺激相关的活动。该项研究的研究人员表示，这使在多篇发表的论文中对该数据进行的所有后续分析均是无效的，并对所有报告的结果提出质疑。研究人员进一步表明，用随机码本(codebook)构造的新型对象分类器的性能与用从EEG数据中提取的表征构造的新型对象分类器的性能一样好，甚至更好，这表明用从EEG数据中提取的表征构造的新型对象分类器的性能不佳。研究人员表示，他们的结果说明了存在于所有神经影像数据中的时间自相关对分类实验的深远影响。此外，我们的结果校准了所涉及任务的潜在难度，并提醒人们不要过于乐观。

人工智能和神经科学交叉领域存在盲点

有没有可能通过分析来自大脑的电信号来读懂一个人的思想呢?答案可能比大多数人想象的要复杂得多。

普渡大学的研究人员(从事人工智能和神经科学交叉研究)表示，可以用于回答该问题的著名数据集是混乱的，因此，基于该数据集并获得广泛认可的许多研究的研究结论和发现可能是错误的。

普渡大学的团队对数据集进行了超过一年的广泛测试，这些数据集观察了参与研究的个体的大脑活动

Purdue小组的工作发表在IEEE Transactions onPattern Analysis and Machine Intelligence中。

普渡大学JeffreyMark Siskind教授表示“这种被称为脑电图(EEG)的测量技术可以提供大脑活动的信息，这些信息原则上可以被用来读取思想，”“问题在于，研究人员使用的脑电图数据集本身受到了污染。这项研究并没有随机排列图像的顺序，所以研究人员仅通过读取EEG中包含的时间和顺序信息就可以知道看到的图像，而不是解决从脑电波解码视觉感知的真正问题。”

普渡大学的研究人员最初在无法从自己的测试中获得相似结果时开始质疑数据集。从那时起，他们开始分析之前的结果，并确定缺乏随机化会污染数据集。

普渡大学的助理教授HariBharadwaj表示“这是在跨学科研究领域工作的挑战之一，重要的科学问题经常需要跨学科的研究。问题是，有时在一个领域受过训练的研究人员不会意识到将思想应用于另一个领域时可能会遇到的常见陷阱。”

(左)图6来自Tirupattur等人的[7]，这是据称由基于脑电波编码的GAN模型生成的样本图像(除了右边红色的列，它表示训练数据中给定类别的随机图像)。(右)几乎所有生成的图像都对应相同的ImageNet图像。请注意，左边据称合成的图像中，有一些(但不是全部)是右边ImageNet图像的水平镜像。还请注意，所有据称合成的图像都包含与相应的ImageNet图像相同的精确细粒度细节。特别是，每个图像不仅描绘了相应的类别，而且还描绘了与ImageNet对应的确切非类别特定的背景。

普渡大学研究小组回顾了使用该数据集完成任务的出版物，如对象分类、迁移学习和通过脑电图(EEGs)测量的脑源表征生成描绘人类感知和思想的图像(如上图所示)。

普渡大学教授Ronnie Wilbur表示："针对一个人能否通过脑电活动读懂另一个人的思想这个问题，我们的研究表明，需要一种更好的方法。"

论文信息

[1] C. Spampinato, S. Palazzo, I.Kavasidis, D. Giordano, N. Souly, and M. Shah, “Deep learning human mind forautomated visual classification,” in Proc. IEEE Conf. Comput. Vis. PatternRecognit., 2017, pp. 6809–6817.

[2] C. Spampinato, S. Palazzo, I.Kavasidis, D. Giordano, M. Shah, and N. Souly, “Deep learning human mind forautomated visual classification,” 2016, arXiv:1609.00344.

[3] S. Palazzo, C. Spampinato, I.Kavasidis, D. Giordano, and M. Shah, “Generative adversarial networksconditioned by brain signals,” in Proc. IEEE Int. Conf. Comput. Vis., 2017, pp.3410–3418.

[4] I. Kavasidis, S. Palazzo, C.Spampinato, D. Giordano, and M. Shah, “Brain2Image: Converting brain signalsinto images,” in Proc. 25th ACM Int. Conf. Multimedia, 2017, pp. 1809–1817.

[5] C. Du, C. Du, X. Xie, C. Zhang, and H.Wang, “Multi-view adversarially learned inference for cross-domain jointdistribution matching,” in Proc. Int. Conf. Knowl. Discov. Data Mining, 2018,pp.1348–1357.

[6] P. Kumar, R. Saini, P. P. Roy, P. K.Sahu, and D. P. Dogra, “Envisioned speech recognition using EEG sensors,” Pers. Ubiquitous Comput.,vol. 22, no. 1, pp. 185–199, 2018.

[7] P. Tirupattur, Y. S. Rawat, C.Spampinato, and M. Shah, “ThoughtViz: Visualizing human thoughts using generative adversarialnetwork,” in Proc. 26th ACM Int. Conf. Multimedia, 2018, pp. 950–958.

[8] S. Palazzo, C. Spampinato, I.Kavasidis, D. Giordano, and M. Shah, “Decoding brain representations bymultimodal learning of neural activity and visual features,” 2018,arXiv:1810.10974.

The Perils and Pitfalls of Block Design forEEG Classification Experiments

https://techxplore.com/news/2020-12-uncover-intersection-ai-neuroscience.html