大脑信号指的是从人脑收集的生物测量信息。大脑信号的研究旨在通过信号解码发现个体的潜在神经或身体状态。近年来，新兴的深度学习技术显著地改进了大脑信号的研究。在这项工作中，我们首先介绍了非侵入性大脑信号的分类和深度学习算法的基础。然后，我们通过总结大量最近的研究，提供了应用深度学习进行非侵入性大脑信号分析的前沿内容。此外，基于深度学习的大脑信号研究，我们报告了可能的实际应用，这不仅有利于残疾人，也有利于正常人。最后，我们讨论了开放的挑战和未来的方向。本文发表在Journal of Neural Engineering杂志。(可添加微信号siyingyxf或18983979082获取原文，另思影提供免费文献下载服务，如需要也可添加此微信号入群，原文也会在群里发布)。
可结合以下脑电深度学习文章及介绍，思影科技可承接相关数据分析业务，增加理解（直接点击即可浏览）：
帕金森病的跑步机训练干预基础是皮层及皮层下网络的区域间连通性
使用时间信号分解和多变量模式分析结合的方法从混合脑电脑信号中解码表征
JAMA Psychiatry：使用机器学习的方法探究焦虑和创伤性障
Nature Biotechnology: EEG特征预测重度抑郁症的抗抑郁药反应
BMC Medicine：自闭症谱系障碍静息态EEG信号的定量递归
NATURE子刊：出生第一年的纵向EEG power能识别孤独症谱
STROKE:用于慢性中风患者运动康复的动力外骨骼的健侧脑-机
基于fNIRS连接度特征监测飞行员的参与度(自动vs手动驾驶着陆)
1. 引言
大脑信号测量了来自人脑的本能生物测量信息，这反映了用户的被动或主动的心理状态。通过精确的大脑信号解码，我们可以识别用户的潜在心理和身体状态，进一步提高他/她的生活质量。基于信号收集，大脑信号包含侵入性信号和非侵入性信号。前者是通过部署在头皮下的电极获取的，而后者是在人的头皮上收集的，无需插入电极。在这次调查中，我们主要考虑非侵入性大脑信号。
1.1. 一般工作流程
图1显示了大脑信号解码的一般范例，它接收大脑信号并产生用户的潜在信息。工作流程包括几个关键组成部分：大脑信号收集，信号预处理，特征提取，分类和数据分析。大脑信号从人体收集并发送到预处理组件进行去噪和增强。然后，从处理过的信号中提取出区分特征，并发送到分类器进行进一步分析。
收集方法因信号而异。例如，脑电图（EEG）信号测量由大脑神经元内的离子电流产生的电压波动。收集EEG信号需要在人头部的头皮上放置一系列电极来记录大脑的电活动。由于在大脑内产生的离子电流是在头皮上测量的，障碍物（例如，颅骨）大大降低了信号质量——收集到的EEG信号的保真度，以信噪比（SNR）测量，只有原始大脑信号的大约5% 。更多非侵入性信号的收集方法可以在附录A中找到。
因此，大脑信号通常在特征提取之前进行预处理以提高SNR。预处理组件包含多个步骤，如信号清理（平滑噪声信号或解决不一致性），信号归一化（沿时间轴对信号的每个通道进行归一化），信号增强（去除直流），和信号降维（呈现信号的简化表示）。
特征提取是指通过领域知识从输入信号中提取区分特征的过程。传统的特征是从时域（例如，方差，均值，峰度），频域（例如，快速傅立叶变换），和时频域（例如，离散小波变换）中提取的。它们将丰富关于用户意图的可区分信息。特征提取高度依赖于领域知识。例如，需要神经科学知识从运动想象EEG信号中提取独特的特征。手动特征提取也是耗时且困难的。最近，深度学习提供了一个更好的选项来自动提取可区分的特征。
分类组件指的是将提取的特征分类为外部设备可识别的逻辑控制信号的机器学习算法。深度学习算法被证明比传统的分类器更强大。
分类结果反映了用户的心理或身体状态，并可以激发进一步的信息分析。这在现实世界的应用中得到了广泛的使用，如神经系统疾病诊断，情绪测量和驾驶疲劳检测。可以根据分析结果进行适当的治疗，疗法和预防措施。
具体来说，当解码的大脑信号被转换为数字命令以控制智能设备并与用户反应时（图1中的虚线），该系统被称为脑-计算机接口（BCI）。BCI系统将人脑模式解释为与外界交流的消息或命令。BCI通常是一个带有外部设备（例如轮椅和机械臂）的闭环系统，可以直接为用户服务。相比之下，只要分析结果可以造福社会和个人，大脑信号分析不需要特定的设备。
在这次调查中，我们总结了采用深度学习模型的最新研究：（1）仅用于特征提取；（2）仅用于分类；（3）用于特征提取和分类。详细内容将在第4节中介绍。大脑信号支持许多对人们日常生活至关重要的新应用。例如，基于大脑信号的用户识别系统，具有高度的抗伪造性，使正常人能够享受增强的娱乐和安全性；对于有心理/身体疾病或残疾的人，大脑信号使他们能够控制智能设备，如轮椅，家用电器和机器人。我们在第5节中介绍了一系列基于深度学习的大脑信号应用。
1.2. 为什么选择深度学习？
尽管传统的大脑信号系统已经取得了巨大的进步，但它仍然面临着重大的挑战。首先，大脑信号很容易被各种生物（例如眨眼，肌肉伪迹，疲劳和注意力水平）和环境伪迹（例如噪声）污染。因此，从被污染的大脑信号中提取有用的数据，并建立一个能在不同情况下工作的强大系统至关重要。其次，它面临的是非稳态电生理大脑信号的低信噪比（SNR）。由于这些方法的时间复杂性和信息丢失的风险，低SNR不能轻易地通过传统的预处理或特征提取方法来解决。第三，特征提取高度依赖于特定领域的人类专业知识。例如，通过脑电图（EEG）信号研究睡眠状态需要基本的生物学知识。人类的经验可能在某些方面有所帮助，但在更一般的情况下可能不足。一个自动特征提取方法是非常需要的。此外，大多数现有的机器学习研究都集中在静态数据上，因此，不能准确地分类快速变化的大脑信号。例如，多类运动想象EEG的最新分类准确率通常低于80%。它需要新的学习方法来处理大脑信号系统中的动态数据流。
到目前为止，深度学习已经在大脑信号应用中得到了广泛的应用，并且在解决上述挑战方面取得了成功。深度学习有两个优点。首先，它直接处理原始大脑信号，从而避免了耗时的预处理和特征提取。其次，深度神经网络可以通过深度结构捕获代表性的高级特征和潜在的依赖关系。
1.3. 为什么需要这项调查？
我们进行这项调查有三个原因。首先，缺乏对非侵入性大脑信号的全面调查。表1显示了现有的大脑信号调查的总结。据我们所知，有限的现有调查只关注部分EEG信号。例如，Lotte等人[11]和Wang等人[18]关注一般EEG，但没有分析EEG亚型；Cecotti等人[28]关注事件相关电位（ERPs）；Haseer等人[29]关注功能性近红外光谱（fNIRS）；Mason等人[15]简述了像事件相关去同步（ERD），P300，SSVEP，视觉诱发电位（VEPs），听觉诱发电位（AEPs）等神经现象，但没有系统地组织它们；Abdulkader等人[7]提出了大脑信号的拓扑，但没有提到自发EEG和快速串行视觉呈现（RSVP）；Lotte等人[5]没有考虑ERD和RSVP；在[8]中，VEP应该是ERP的一个亚型。Ahn等人[21]回顾了基于MI-EEG的BCI系统中的性能变化。Roy等人[17]列出了一些基于深度学习的EEG研究，但提供的技术启示很少，对深度学习算法的分析也较少，他们也未能调查EEG之外的其他非侵入性大脑信号。特别是，与[17]相比，这项工作更好地介绍了深度学习，包括基本概念，算法和流行模型（第3节和附录B）。此外，本文从大脑信号范例，适合的深度学习框架和有前景的实际应用（第6节）的角度讨论了大脑信号分析的高级指南。
表1. 过去十年中对大脑信号的现有调查。'全面性'列表示调查是否覆盖了所有非侵入性大脑信号的子类别。MI EEG指的是运动想象EEG信号。
其次，很少有研究调查了深度学习([30, 31])和大脑信号([5, 7, 8, 11, 15, 32])之间的关联。据我们所知，这篇论文是首批全面调查基于深度学习的大脑信号最新进展的论文。我们还指出了这个领域的前沿和有前景的方向。
最后，现有的调查集中在特定的领域或应用，并缺乏对广泛场景的概述。例如，Litjens等人[16]总结了几个旨在医学图像分析的深度神经网络概念；Soekadar等人[20]回顾了基于感觉-运动节奏的中风相关运动麻痹的BCI系统和机器学习方法；Vieira等人[33]调查了大脑信号在神经系统疾病和精神疾病上的应用。
图2. 非侵入式脑信号的分类。
虚线四边形（RAVP, SEP, SSAEP, 和 SSSEP）在本调查中没有被包含，因为没有现有的研究聚焦于涉及深度学习算法的它们。P300，这是在刺激呈现后大约300毫秒记录的正电位，在这个信号树中没有被列出，因为它被包含在ERP中（这是指在呈现刺激后的所有电位）。在这个分类中，除EEG之外的其他脑成像技术（例如MEG和fNIRS）理论上也可以包括视觉/听觉任务，但我们省略了它们，因为没有现有的工作在这些任务上采用深度学习。
表2. 非侵入性脑信号特性的总结。
关于其他非侵入性技术，fNIRS通过使用近红外（NIR）光来测量氧合血红蛋白（Hb）和脱氧血红蛋白（deoxy-Hb）的聚集程度来产生功能性神经影像，这两者都比头部其他部件（如头骨和头皮）吸收的光更强[38]；fMRI通过检测脑区的血流变化来监测脑活动[14]；MEG通过磁场变化反映脑活动[39]。
3.深度学习模型概述
在本节中，我们将正式介绍深度学习模型，包括在脑信号研究领域常用的概念、架构和技术。深度学习是一类使用多层信息处理阶段的机器学习技术，在分层架构中用于模式分类和特征/表示学习[31]。关于在脑信号分析中常用的深度学习技术的更详细信息可以在附录B中找到。
深度学习算法根据技术的目标包含几个子类别（图3）：
判别性深度学习模型，根据自适应学习的判别性特征将输入数据分类到预先知道的标签。判别算法能够通过非线性变换学习独特的特征，并通过概率预测进行分类[9]。因此，这些算法可以既提取特征又进行分类（对应图1）。判别架构主要包括多层感知器（MLP）[40]，递归神经网络（RNN）[41]，卷积神经网络（CNN）[42]，以及它们的变体。
代表性深度学习模型，从输入数据中学习纯粹和代表性的特征。这些算法只有特征提取的功能（图1）但不能进行分类。常用于表示的深度学习算法包括自编码器（AE）[43]，受限玻尔兹曼机（RBM）[44]，深度信念网络（DBN）[45]，以及它们的变体。
生成性深度学习模型，学习输入数据和目标标签的联合概率分布。在脑信号范围内，生成算法主要用于生成一批脑信号样本以增强训练集。在脑信号分析中常用的生成模型包括变分自编码器（VAE）[46]，生成对抗网络（GAN）[47]等。
混合深度学习模型，结合了两个以上的深度学习模型。例如，典型的混合深度学习模型使用表示算法进行特征提取和判别算法进行分类。
根据算法功能，它们可以被划分为判别模型、表示模型、生成模型和混合模型。判别模型（附录B.1）主要包括多层感知器（MLP）、循环神经网络（RNN）和卷积神经网络（CNN）。RNN的两个主流是长短期记忆（LSTM）和门控循环单元（GRU）。表示模型（附录B.2）可以被分为自编码器（AE）、受限玻尔兹曼机（RBM）和深度信念网络（DBN）。D-AE表示具有多个隐藏层的深度自编码器。同样，D-RBM表示具有多个隐藏层的深度受限玻尔兹曼机。深度信念网络可以由AE或RBM组成，因此，我们将DBN划分为DBN-AE和DBN-RBM。在非侵入性脑信号分析中常用的生成模型（附录B.3）包括变分自编码器（VAE）和生成对抗网络（GAN）。
如果您对超扫描，脑电及近红外等数据分析感兴趣，请浏览思影以下链接（直接点击即可浏览），感谢转发支持。(可添加微信号siyingyxf或18983979082咨询)：
北京：
南京：
4. 脑电信号的最新深度学习技术
在这部分，我们将对基于深度学习的脑电信号的前沿研究进行全面总结（见表4）。混合模型被分为三部分：RNN和CNN的结合，代表性和判别性模型的结合（记为"Repre + Discri"），以及其他混合模型。
表4. 基于深度学习模型的非侵入性脑信号研究的总结。
4.1. 脑电图 (EEG)
由于具有高便携性和低价格的优点，EEG信号受到了广泛关注。大部分最新的非侵入性脑信号出版物都与EEG有关。在这一部分，我们总结了EEG信号的两个方面：自发EEG和诱发电位(EPs)。顾名思义，前者是自发的，后者需要外部刺激。
4.1.1. 自发EEG
我们根据应用场景，介绍了自发EEG的深度学习模型。
(1) 睡眠EEG。睡眠EEG主要用于识别睡眠阶段和诊断睡眠障碍或培养健康习惯[48, 49]。根据Rechtschaffen和Kales (R&K)的规则，睡眠阶段包括清醒、非REM(快速眼动) 1、非REM 2、非REM 3、非REM 4和REM。美国睡眠医学会推荐将睡眠分为五个阶段：清醒、非REM 1、非REM 2、慢波睡眠(SWS)和REM。非REM 3和非REM 4被合并为SWS，因为它们之间没有明显的区别[49]。通常，在睡眠阶段分析中，EEG信号通过滤波器进行预处理，不同的论文中滤波器的通带各不相同，但都在50 Hz处切除。EEG信号通常被分割成30秒的窗口。
(i) 判别模型。卷积神经网络(CNN)经常用于单通道EEG的睡眠阶段分类[25, 50]。例如，Viamala等人[51]手动提取了时频特征，达到了86%的分类准确率。其他人使用了基于频域、相关性和图论特征的不同特征的递归神经网络(RNN)[52]和长短期记忆网络(LSTM)[53]。
(ii) 代表性模型。Tan等人[54]采用了DBN-RBM算法来检测基于从睡眠EEG信号中提取的功率谱密度(PSD)特征的睡眠纺锤波，在本地数据集上达到了92.78%的F-1值。张等人[49]进一步将DBN-RBM与三个RBM结合进行睡眠特征提取。
(iii) 混合模型。Manzano等人[55]提出了一个多视角算法，通过结合CNN和MLP来预测睡眠阶段。CNN被用于接收原始时域EEG振荡，而MLP接收了通过短时傅立叶变换处理的0.5-32 Hz的频谱信号。Fraiwan等人[56]将DBN与MLP结合用于新生儿睡眠状态识别。Supratak等人[57]提出了一个通过组合多视角CNN和LSTM的模型用于自动睡眠阶段评分，其中前者被采用来发现时间不变的依赖关系，而后者（双向LSTM）被采用来在睡眠期间获取时间特征。Dong等人[58]提出了一个旨在进行时间睡眠阶段分类的混合深度学习模型，并利用MLP来检测层次特征，以及LSTM来进行顺序信息学习。
(2) 运动想象(MI) EEG。
深度学习模型在运动想象(MI) EEG和实际运动EEG的分类上显示出了优势[59, 60]。
(i) 判别模型。这类模型大多使用CNN来识别MI EEG [61]。有些是基于手动提取的特征[62, 63]。例如，Lee等人[64]和Zhang等人[65]分别使用CNN和2D CNN进行分类；Zhang等人[65]从EEG信号中学习情感信息，构建了一个修改过的LSTM来控制智能家居设备。其他人也使用CNN进行特征提取[66]。例如，Wang等人[67]首先使用CNN从MI-EEG信号中捕获潜在的连接，然后应用弱分类器来选择最终分类的重要特征；Hartmann等人[59]研究了CNN如何通过MI EEG样本的序列来表示谱特性。多层感知器(MLP)也被用于MI EEG识别[68]，其在早期阶段对EEG相位特征的敏感性更高，在后期阶段对EEG幅度特征的敏感性更高。
(ii) 代表性模型。DBN因其高代表性能力而被广泛用作MI EEG分类的基础 [79, 80]。例如，任等人 [78] 应用了基于RBM组件的卷积DBN，显示出比手工特征更好的特征表示。李等人 [77] 用离散小波变换处理了EEG信号，然后应用了基于去噪AE的DBN-AE。其他模型包括AE模型（用于特征提取）和KNN分类器的组合 [75]，遗传算法（用于超参数调优）和MLP（用于分类）的组合 [84]，AE和XGBoost的组合用于多人场景 [76]，以及LSTM和强化学习的组合用于多模态信号分类 [2, 85]。
(iii) 混合模型。有几项研究提出了用于识别MI EEG的混合模型 [81]。例如，Tabar等人 [4] 使用CNN从EEG信号的时间、频率域和位置信息中提取高级表征，然后使用带有七个AE的DBN-AE作为分类器；谭等人 [82] 使用去噪AE进行维度降低，一个多视角CNN结合RNN来发现潜在的时间和空间信息，最后在一个公开数据集上达到了72.22%的平均准确率。
（3）情绪脑电图。
一个人的情绪可以从三个方面进行评估：价值观、唤醒和支配。这三个方面的组合形成了如恐惧、悲伤和愤怒等情绪，这些情绪可以通过脑电图信号揭示。
(i) 判别模型。传统上使用多层感知器（MLP）[87，137]，而卷积神经网络（CNN）和循环神经网络（RNN）在基于脑电图的情绪预测中越来越受欢迎 [89，90]。这一类别中典型的基于CNN的工作包括层次化CNN [89，92]和扩充CNN的训练集 [91]。李等人 [89]是首次提出通过将多通道脑电图信号转化为2D矩阵来捕获脑电图通道之间的空间依赖性。此外，Talathi [110]使用了一个由门控循环单元（GRU）组成的判别深度学习模型。张等人 [88]提出了一个空间-时间RNN，该模型采用一个多向RNN层来发现长距离的上下文线索，和一个双向RNN层来捕获前一空间RNN产生的序列特征。
(ii) 代表模型。深度信念网络（DBN），尤其是DBN-受限玻尔兹曼机（RBM），因其在情绪识别中的无监督表示能力而被广泛使用 [100，103，106]。例如，徐等人 [99，101]提出了一个带有三个RBM和一个RBM-自编码器（AE）的DBN-RBM算法来预测情绪状态；赵等人 [126] 和郑等人 [102] 分别将DBN-RBM与支持向量机（SVM）和隐藏马尔可夫模型（HMM）结合，解决了同样的问题；郑等人 [96, 97] 提出了一个带有五个隐藏RBM层的D-RBM，用于搜索情感识别中的重要频率模式和信息通道；贾等人 [98] 消除了高误差通道，然后基于残余通道的代表特征使用D-RBM进行情绪状态识别。
情绪受许多主观和环境因素的影响（例如性别和疲劳）。Yan等人[95]通过提出一种新的称为双模深度自编码器的模型，研究了男性和女性之间情绪模式的差异，该模型接收了EEG和眼动特征，并在一个连接到SVM分类器的融合层中共享信息。结果显示，女性在恐惧情绪上的EEG信号多样性更高，而男性在悲伤情绪上更高。此外，对于女性来说，恐惧的主观差异比其他情绪更显著[95]。为了克服不同主体或不同实验阶段收集的样本之间的分布不匹配，Chai等人[94]通过结合AE和一个子空间对齐解决方案，提出了一种名为子空间对齐自编码器的无监督领域适应技术。该方法在独立个体情境中获得了77.88%的平均准确率。
（iii）混合模型。一种常用的混合模型是RNN和MLP的组合。例如，Alhagry等人[108]使用了一个LSTM架构从情绪EEG信号中提取特征，然后将特征转发到一个MLP进行分类。此外，Yin等人[107]提出了一个多视图集成分类器，用于使用多模态生理信号识别个体情绪。集成分类器包含几个带有三个隐藏层和一个融合结构的D-AE。每个D-AE接收一个生理信号（例如EEG），然后将D-AE的输出发送到由另一个D-AE组成的融合结构。最后，一个MLP分类器基于混合特征进行预测。Kawde等人[105]通过结合DBN-RBM进行有效的特征提取和MLP进行分类，实现了一个情感识别系统。
(4) 脑电图心理疾病。
大量的研究者利用脑电图信号来诊断神经系统疾病，特别是癫痫发作[109]。
(i) 判别模型。CNN在癫痫发作的自动检测中被广泛使用[93, 112, 114, 116]。例如，Johansen等人[118]采用CNN处理癫痫患者的高通（1赫兹）脑电图信号，获得了94.7%的AUC。Acharya等人[113]在抑郁症检测中使用了一个有13层的CNN模型，该模型在一个包含30个受试者的本地数据集上进行评估，分别基于左、右半脑脑电图信号，获得了93.5%和96.0%的准确率。Morabito等人[115]试图利用CNN结构提取多通道脑电图信号的合适特征，以便从轻度认知障碍（MCI）患者和健康对照组中分类阿尔茨海默症。脑电图信号经过带通滤波（0.1-30赫兹）并获得了三类分类的约82%的准确率。快速眼动行为障碍（RBD）可能导致许多像帕金森病（PD）这样的精神障碍疾病。Ruffini等人[111]描述了一个特殊类型的RNN模型，即回声状态网络模型，用以区分RBD和健康个体。在一些研究中，判别模型只用于特征提取。例如，Ansari等人[119]使用CNN提取潜在特征，然后输入到一个随机森林分类器中，进行新生儿癫痫发作的最终检测。Chu等人[149]结合了CNN和传统分类器用于精神分裂症的识别。
(ii) 代表性模型。对于疾病检测，一种常用的方法是采用一个代表性模型（例如 DBN），然后通过 softmax 层进行分类[127]。Page 等人[125]采用了 DBN-AE 从癫痫 EEG 信号中提取信息特征。这些提取的特征被输入到传统的逻辑回归分类器进行癫痫检测。Al 等人[131]提出了一个多视角 DBN-RBM 结构来分析抑郁症患者的 EEG 信号。该方法包含多个输入路径，由两个 RBMs 组成，每个都对应一个 EEG 通道。所有的输入路径会汇合到一个由其他 RBMs 组成的共享结构中。一些研究倾向于通过降维方法如 PCA[129] 对 EEG 信号进行预处理，而其他研究则更倾向于直接将原始信号输入到代表性模型中[122]。Lin 等人[122] 提出了一个稀疏的 D-AE，它有三个隐藏层，用于从癫痫 EEG 信号中提取代表性特征，而 Hosseini 等人[129]采用了一个类似的稀疏 D-AE，它有两个隐藏层。
(iii) 混合模型。一种流行的混合方法是 RNN 和 CNN 的组合。Shah 等人[128] 在频道选择后，研究了 CNN-LSTM 在癫痫检测上的性能，灵敏度范围为 33% 到 37%，而误报率范围为 38% 到 50%。Golmohammadi 等人[130] 提出了一种通过整合时间和空间信息对 EEG 进行自动解读的混合架构。2D 和 1D 的 CNN 捕获空间特征，而 LSTM 网络捕获时间特征。作者在著名的 TUH EEG 癫痫语料库上宣称灵敏度为 30.83%，特异性为 96.86%。在检测早期克罗伊茨菲尔德-雅各布病（CJD）方面，Morabito 等人[123] 将 D-AE 和 MLP 结合在一起。CJD 的 EEG 信号首先通过带通（0.5–70 Hz）滤波，然后输入到具有两个隐藏层的 D-AE 中进行特征表示。最后，MLP分类器在一个本地数据集上获得了 81%-83%的准确率。在无监督的情况下，使用卷积自编码器来提取癫痫特征，这种方法将标准自编码器中的全连接层替换为卷积和反卷积层[124]。
(5) 数据增强。
像 GAN 这样的生成模型可以用于脑信号分类的数据增强[132]。Palazzo 等人[133]首先证明了大脑波中包含的信息可以用来区分视觉对象，然后使用 RNN 提取了 EEG 数据的更强大和可区分的表示。最后，他们使用了 GAN 框架来训练一个由学习的 EEG 表示所决定的图像生成器，该生成器可以将 EEG 信号转换为图像[133]。Kavasidis 等人[134]的目标是将 EEG 信号转换为图像。当受试者在屏幕上观看图像时，收集了 EEG 信号。一个 LSTM 层被用来从 EEG 信号中提取潜在特征，并且这些提取的特征被视为 GAN 结构的输入。GAN 的生成器和判别器都由卷积层组成。预训练后，生成器应根据输入的 EEG 信号生成一个图像。Abdelfattach 等人[132]在癫痫数据增强上采用了 GAN。生成器和判别器都由全连接层组成。作者证明了 GAN 优于其他生成模型，如 AE 和 VAE。增强后，分类精度从 48% 大幅增加到 82%。
(6) 其他。
一些研究已经探索了一系列令人兴奋的主题。第一个是 EEG 信号如何受到音频/视觉刺激的影响。这与音频/视觉刺激引发的电位有所不同，因为这种现象中的刺激总是存在的，而不是在特定频率下闪烁。Stober 等人[142, 188]声称，节奏诱发的 EEG 信号足以区分节奏刺激。作者进行了一个实验，其中 13 名参与者接受了 23 种节奏刺激，包括 12 种东非和 12 种西方刺激。对于 24 类分类，所提出的 CNN 达到了 24.4% 的平均准确率。之后，作者利用卷积 AE 进行表示学习，用 CNN 进行识别，对于 12 类分类，达到了 27% 的准确率[157]。Sternin 等人[148]采用了 CNN 来从 EEG 振荡中捕获区分性特征，以区分受试者是在听音乐还是在想象音乐。类似地，Sarkar 等人[165]设计了两个深度学习模型来识别由音频或视觉刺激引发的 EEG 信号。对于这个二分类任务，所提出的 CNN 和由三个 RBMs 组成的 DBN-RBM 分别达到了 91.63% 和 91.75% 的准确率。此外，自发 EEG 可以用来区分用户的精神状态（逻辑与情感）[172]。
此外，一些研究者关注认知负荷[138]或物理工作负荷[220]对 EEG 的影响。Bashivan 等人[159]首先通过小波熵和频段特定功率提取信息特征，这些特征将被输入到 DBN-RBM 中进行进一步的提炼。最后，采用 MLP 进行认知负荷级别的识别。在另一项工作中，作者们[171]也表示希望找到在各种精神负荷下，在个体间/个体内情况下保持不变的一般特征。Yin 等人[150]从不同的精神工作负荷级别（例如高和低）收集 EEG 信号进行二元分类。EEG 信号通过低通滤波器进行过滤，转换到频率域，并计算 PSD。提取出的 PSD 特征被送入一个去噪 D-AE 结构进行进一步的提炼。他们最终获得了 95.48% 的准确率。Li 等人[155]进行了精神疲劳水平的识别工作，包括警觉、轻度疲劳和严重疲劳。
此外，基于 EEG 的驾驶员疲劳检测是一个具有吸引力的领域[147, 151, 158]。Huang 等人[140]设计了一个 3D CNN 来预测瞌睡驾驶中的反应时间。这对于减少交通事故具有意义。Hajinoroozi 等人[153]采用了 DBN-RBM 来处理经过 ICA 处理的 EEG 信号。他们在二元分类（'瞌睡'或'警觉'）中获得了约 85% 的准确率。这篇论文的优点是它在三个层面评估了 DBN-RBM：时间样本、通道时期和窗口样本。实验表明，通道时期水平优于其他两个水平。San 等人[154]结合深度学习模型和传统分类器来检测驾驶员疲劳。该模型包含一个 DBN-RBM 结构，后面跟着一个 SVM 分类器，其检测精度达到了 73.29%。Almogbel 等人[145]研究了驾驶员在不同低工作负荷级别下的精神状态。他们声称提出的 CNN 可以直接基于原始 EEG 信号检测驾驶工作负荷。
关于眼睛状态的检测研究显示出超高的准确率。Narejo 等人[152]探索了基于 EEG 信号的眼睛状态（闭合或开启）的检测。他们尝试了一个带有三个 RBMs 的 DBN-RBM 和一个带有三个 AEs 的 DBN-AE，取得了 98.9% 的高准确率。Reddy 等人[136]尝试了一个更简单的结构，MLP，得到了略低的 97.5% 的准确率。
此外，为了使这次调查更加完整，我们简要介绍了事件相关去同步/同步（ERD/ERS）。ERD/ERS 指的是在特定大脑状态下，EEG 信号功率的大小和频率分布发生变化的现象[36]。特别地，ERD 表示正在进行的 EEG 信号的功率下降，而 ERS 代表 EEG 信号的功率增加。大脑信号的 ERD/ERS 特性可以用来检测导致 EEG 波动的事件。例如，[221] 在执行 MI 任务期间记录了运动皮质中的 ERD/ERS 现象。
ERD/ERS主要出现在感官、认知和运动过程中，由于诸如不同受试者之间准确度不稳定等缺点，ERD/ERS 并未在大脑研究中得到广泛应用[36]。在大多数情况下，ERD/ERS 被视为 EEG 功率的特定特征，用于进一步分析[4, 81]。任务引起了 EEG 的 mu 带（8-13 Hz）的 ERD 和 beta 带（13-30 Hz）的 ERS。特别地，ERD/ERS 被计算为相对于基线的功率变化：ERD/ERS = (Pe − Pb)/Pb，其中 Pe 表示事件发生时 1 秒段内的信号功率，Pb 表示基线期间（即事件发生前） 1 秒段内的信号功率[71]。通常，基线指的是休息状态。例如，Sakhavi 等人计算了 ERD/ERS 地图，并分析了不同任务之间的不同模式。分析表明，应考虑能量的动态性，因为静态能量不包含足够的信息[86]。
有几个被忽视但有前景的领域。Baltatzis 等人[141]采用了 CNN 来通过观看特定视频时的 EEG 检测校园欺凌。他们在二元和四元分类中分别达到了 93.7% 和 88.58% 的准确率。Khurana 等人[222]提出了深度字典学习，其性能超过了几种深度学习方法。Volker 等人[143]评估了在侧翼任务中使用深度 CNN 的效果，其在已见到的受试者和未见到的受试者上分别获得了 84.1% 和 81.7% 的平均准确率。张等人[160]将 CNN 和图网络结合起来，以发现 EEG 信号中的潜在信息。
Miranda-Correa 等人[104]提出了一种将 RNN 和 CNN 结合的级联框架，用于预测个人的情绪水平和个人因素（大五人格特质、心情和社交环境）。Putten 等人进行的一项实验[146]试图通过他们的 EEG 信号来识别用户的性别。他们采用了一个标准的 CNN 算法，在本地数据集上达到了 81% 的二元分类准确率。检测紧急刹车意图可以帮助减少响应时间。Hernandez 等人[144]证明了驾驶员的 EEG 信号可以区分刹车意图和正常驾驶状态。他们结合了一个 CNN 算法，在二元分类中达到了 71.8% 的准确率。Behncke 等人[139]在机器人辅助设备的背景下应用了深度学习，一个 CNN 模型。他们试图使用 CNN 来提高从 EEG 中解码机器人错误的准确性，而受试者在观看机器人进行抓取和倒水任务时。
Teo 等人[135]尝试将脑电信号与推荐系统结合起来，通过 EEG 信号预测用户的偏好。有 16 名参与者参加了这项实验，该实验在受试者被呈现 60 个类似手环的物体作为旋转视觉刺激（3D 对象）时收集了 EEG 信号。然后，采用了 MLP 算法来分类用户喜欢或不喜欢这个物体。这项探索得到了 63.99% 的预测准确率。一些研究者试图探索一个可以用于各种脑信号范式的通用框架。Lawhern 等人[73]介绍了基于紧凑 CNN 的 EEGNet，并评估了其在各种脑信号背景下的稳健性[73]。
4.1.2. 诱发电位
接下来，我们将介绍关于诱发电位(EPs)包括ERP和SSEP的最新研究。
(1) ERP。在大多数情况下，ERP信号是通过P300现象进行分析的。同时，几乎所有关于P300的研究都是基于ERP的情景进行的。因此，在本节中，大部分与P300相关的研究都在VEP/AEP的子节中根据情景进行介绍。
(i) VEP。VEP是ERP的最受欢迎的子类之一[23, 163, 223]。马等人[224]通过深度学习提取代表性特征，研究了运动开始的VEP，并采用了遗传算法结合多级感知结构来压缩原始信号。压缩后的信号被送入一个DBN-RBM算法中，以捕获更抽象的高级特征。Maddula等人[170]用带通滤波器（2-35Hz）过滤了视觉刺激下的P300信号，然后将其输入到一个提出的混合深度学习模型中进行进一步分析。该模型包括一个2D CNN结构，用于捕捉空间特征，然后是一个用于提取时间特征的LSTM层。刘等人[168]将DBN-RBM代表模型与SVM分类器结合起来进行隐蔽信息测试，并在本地数据集上获得了97.3%的高准确率。高等人[167]采用了一个AE模型进行特征提取，然后采用了一个SVM分类器。在实验中，每个段包含150个点，这些点被分成五个时间步，每个步骤有30个点。这个模型在本地数据集上获得了88.1%的准确率。大量与P300相关的研究是基于P300拼写器[173]的，这个拼写器允许用户写字符。Cecotti等人[177]试图提高P300检测的准确率，以便更精确地拼写单词。他们提出了一个基于CNN的新模型，其中包括五个具有不同特征集的低级CNN分类器，最后的高级结果由低级分类器投票决定。最高的准确率在第三届BCI竞赛的数据集II上达到了95.5%。刘等人[164]在P300拼写器中提出了一个批量归一化神经网络(BN3)，它是CNN的一个变体。该方法由六层组成，每个批次都进行了批量归一化操作。川崎等人[162]采用了一个MLP模型，从非P300段中检测出P300段，并获得了90.8%的准确率。
(ii) AEP。有少部分的研究专注于AEP的识别。例如，Carabez等人[187]提出并测试了18种CNN结构，以分类单次试验的AEP信号。在实验中，志愿者需要戴上一个耳机，该耳机产生的听觉刺激是基于oddball范式设计的。实验分析显示，无论卷积层的数量如何，CNN框架都能有效提取时空特征，并提供有竞争力的结果。AEP信号被0.1-8Hz的滤波器滤波，并从256Hz降采样到25Hz。实验结果显示，降采样数据表现更好。
(iii) RSVP。在各种VEP图表中，RSVP引起了很多关注[183]。在RSVP的分析中，许多区分性强的深度学习模型（例如，CNN[177, 178, 182]和MLP[174]）取得了巨大成功。RSVP信号中常用的一种预处理方法是频率滤波。通频带通常范围在0.1至50Hz[176, 185]。Cecotti等人[12]研究了RSVP情景中ERP信号的分类，并提出了一个修改过的CNN模型，用于检测RSVP中的特定目标。在实验中，面部和汽车的图像分别被视为目标或非目标。图像呈现频率为2Hz。在每个会话中，目标概率为10%。所提出的模型提供了86.1%的AUC。Hajinoroozi等人[179]采用了一个CNN模型，针对RSVP的主题间和任务间检测。实验结果显示，CNN在跨任务中表现良好，但在跨主题场景中未能取得满意的性能。Mao等人[175]比较了三种不同的深度神经网络算法在预测受试者是否看到目标方面的效果。MLP、CNN和DBN模型分别获得了81.7%、79.6%和81.6%的AUC。作者还应用了一个CNN模型来分析RSVP信号，以进行人员识别[180]。
代表性的深度学习模型也被应用在RSVP中。Vareka等人[186]验证了深度学习是否适用于单次试验P300分类。他们进行了一个RSVP实验，要求受试者从非目标和干扰者中识别出目标。然后，他们实施并比较了一个DBN-AE与一些非深度学习算法。DBN-AE由五个AE组成，最后一个AE的隐藏层只有两个节点，可以通过softmax函数进行分类。最后，所提出的模型达到了69.2%的准确率。Manor等人[181]在低通滤波（0-51Hz）后应用了两种深度神经网络处理RSVP信号。Discriminative CNN达到了85.06%的准确率。与此同时，具有代表性的卷积D-AE达到了80.68%的准确率。
(2) SSEP。大部分基于深度学习的SSEP领域的研究都关注于SSVEP，如[191]。SSVEP指的是由闪烁的视觉刺激引发的脑震荡，这通常来自顶叶和枕叶区域[192]。Attia等人[196]旨在找到SSVEP的中间表示。他们提出了一种将CNN和RNN结合起来的混合方法，直接从时间域中捕捉有意义的特征，达到了93.59%的准确率。Waytowich等人[192]应用了一个紧凑的CNN模型，直接处理原始SSVEP信号，无需任何手工特征。报告的跨主题平均准确率约为80%。Thomas等人[190]首先通过一个带通滤波器（5-48Hz）过滤原始的SSVEP信号，然后在连续的512点上进行离散傅里叶变换。处理后的数据分别由CNN（69.03%）和LSTM（66.89%）进行分类。
Perez等人[197]采用了一个代表性的模型，稀疏自编码器，从多频率视觉刺激中提取SSVEP的独特特征。所提出的模型使用了一个softmax层进行最终的分类，达到了97.78%的准确率。Kulasingham等人[195]在有罪知识测试的背景下对SSVEP信号进行分类。作者们分别应用了DBN-RBM和DBN-AE，分别达到了86.9%和86.01%的准确率。Hachem等人[189]通过一个MLP模型研究了疲劳对SSVEP的影响，在轮椅导航过程中。这项研究的目标是寻找切换手动、半自动和自动轮椅命令的关键参数。Aznan等人[193]探索了SSVEP分类，其中信号是通过干电极收集的。干信号对于比标准EEG信号更低的信噪比更具挑战性。这项研究应用了一个CNN判别模型，在一个本地数据集上达到了最高的96%的准确率。
4.2. fNIRS
到目前为止，只有少数研究者关注基于深度学习的fNIRS。Naseer等人[38]基于fNIRS信号分析了两种心理任务（心算和休息）的差异。作者们从前额叶fNIRS中手动提取了六个特征，并比较了六种不同的分类器。结果表明，MLP的准确率为96.3%，优于所有的传统分类器，包括SVM，KNN，朴素贝叶斯等。Huve等人[198]分类了fNIRS信号，这些信号是在被试处于三种心理状态（减法，词语生成，休息）期间收集的。所采用的MLP模型基于手工特征（如OxyHb/DeoxyHb的浓度）达到了66.48%的准确率。之后，作者们通过fNIRS信号研究了移动机器人的控制，并获得了82%（离线）和66%（在线）的二分类准确率[199]。Chiarelli等人[71]利用fNIRS和EEG的组合进行了左/右MI EEG分类。从fNIRS信号中提取出的16个特征（八个来自OxyHb，八个来自DeoxyHb）被输入到一个有四个隐藏层的MLP分类器中。
另一方面，Hiroyasu等人[201]试图通过他们的fNIRS信号检测受试者的性别。作者们采用了一个去噪D-AE模型，该模型有三个隐藏层，以提取出独特的特征，然后输入到一个MLP分类器中进行性别检测。该模型在一个本地数据集上进行了评估，获得了平均81%的准确率。在这项研究中，作者们还指出，与正电子发射断层扫描(PET)和功能磁共振成像(fMRI)相比，fNIRS具有更高的时间分辨率和更可负担的价格[201]。
4.3. fMRI
最近，几种深度学习方法已被应用于fMRI分析，特别是在认知障碍的诊断上[14, 33]。
(1) 判别模型。在判别模型中，CNN是分析fMRI的有前景的模型[206]。例如，Havaei等人建立了一个基于fMRI的脑肿瘤分割方法，该方法使用了一个新颖的CNN算法，可以同时捕捉全局特征和局部特征[205]。卷积滤波器的尺寸不同。因此，小尺寸和大尺寸的滤波器可以分别提取局部和全局特征。Sarraf等人[207, 225]应用深度CNN来识别基于fMRI和MRI数据的阿尔茨海默病。Morenolopez等人[226]采用了一个CNN模型来处理脑肿瘤患者的fMRI，进行三类识别（正常，水肿，或活性肿瘤）。该模型在BRATS数据集上进行了评估，得到了88%的F1分数。Hosseini等人[117]使用CNN进行特征提取。提取的特征由SVM分类，用于检测癫痫发作。
此外，Li等人提出了一种基于CNN的数据补全方法。具体来说，利用fMRI数据的信息来完成PET，然后基于fMRI和PET训练分类器[208]。在该模型中，所提出的CNN的输入数据是fMRI patch，输出是PET patch。有两个卷积层，带有十个过滤器，将fMRI映射到PET。实验表明，由fMRI和PET的结合训练的分类器（92.87%）优于单独由fMRI训练的分类器（91.92%）。此外，Koyamada等人使用了一个非线性MLP来从不同的受试者中提取公共特征。该模型在Human Connectome Project的数据集上进行了评估[202]。
(2) 代表性模型。大量的出版物证明了代表性模型在fMRI数据识别中的有效性。胡等人[216]使用深度学习在诊断神经系统疾病如阿尔茨海默病等方面超越了其他机器学习方法。首先，fMRI图像被转换为矩阵，表示90个脑区的活动。其次，通过计算每对脑区之间的相关性得到一个相关矩阵，表示不同脑区之间的功能连接。此外，构建了一个目标自编码器来分类这个对AD敏感的相关矩阵。所提出的方法实现了87.5%的准确率。Plis等人[211]使用了一个包含三个RBM组件的DBN-RBM从ICA处理过的fMRI中提取出特殊的特征，最后在四个公开数据集上获得了超过90%的平均F1分数。Suk等人比较了DBN-RBM和DBN-AE在阿尔茨海默病检测上的有效性，实验结果显示前者获得了95.4%的准确率，稍低于后者(97.9%)[210]。Suk等人[209]应用了一个D-AE模型从静息态fMRI数据中提取潜在特征用于MCI的诊断。这些潜在特征被输入到一个SVM分类器中，获得了72.58%的准确率。Ortiz等人[212]提出了一个多视角的DBN-RBM，同时接收MRI和PET的信息。学习到的表征被发送到几个简单的SVM分类器，这些分类器通过投票组成一个高级的更强的分类器。
(3) 生成模型。自然图像（如fMRI）的重构吸引了大量的关注[88, 203, 214]。Seeliger等人[213]提出了一个深度卷积生成对抗网络（DCGAN）用于重构从fMRI中的视觉刺激，其目标是训练一个生成器创建一个与视觉刺激类似的图像。生成器包含四个卷积层，以便将输入的fMRI转换为自然图像。韩等人[214]关注使用GAN生成合成的多序列fMRI。生成的图像可以用于数据增强以提高诊断准确性，或者医生训练以帮助更好地理解各种疾病。作者应用了现有的DCGAN[227]和WGAN[228]，并发现前者效果更好。沈等人[203]通过最小化真实图像和基于真实fMRI生成的图像之间的距离，提出了另一种图像恢复方法。
4.4. MEG
Garg等人[217]通过去除像眨眼和心脏活动这样的人工伪迹来精炼MEG信号。MEG信号首先通过ICA进行分解，然后由一维CNN模型进行分类。最后，该方法在本地数据集上实现了85%的敏感性和97%的特异性。Hasasneh等人[219]也关注于人工伪迹检测（心脏和眼部人工制品）。提出的方法使用CNN来捕获时间特征和MLP来提取空间信息。Shu等人[218]采用稀疏自编码器来学习MEG信号在单词解码任务中的潜在依赖性。结果表明，虽然该方法并未提高整体的解码准确性，但对某些受试者来说，该方法是有优势的。Cichy等人[204]应用了一个CNN模型来基于MEG和fMRI信号识别视觉对象。
表5. 基于深度学习的脑信号应用总结。
5.2. 智能环境
智能环境是脑信号未来有前景的应用场景。随着物联网的发展，越来越多的智能环境可以与脑信号连接。例如，辅助机器人可以用于智能家居[2, 65]，在这种情况下，机器人可以由个人的脑信号来控制。此外，Behncke等人[139]和Huve等人[199]基于视觉刺激的自发性EEG和fNIRS信号研究了机器人控制问题。脑信号控制的外骨骼可以帮助那些在肢体下部运动系统受损的残疾人进行行走和日常活动[191]。未来，对脑控家用电器的研究可能对智能家居和智能医院中的老年人或残疾人有益。
5.3. 通讯
与其他人机接口技术相比，脑信号的最大优点之一是，它可以让失去了大部分运动能力（如说话）的病人与外部世界进行交流。深度学习技术提高了基于脑信号的通信效率。一个典型的让个人在没有任何运动系统的情况下打字的图是P300拼写器，它可以将用户的意图转换为文本[162]。强大的深度学习模型使脑信号系统能够识别出含有用户通信信息的P300段和非P300段[166]。在更高的层次上，代表性的深度学习模型可以帮助检测用户正在关注的字符，并将其打印在屏幕上与他人聊天[164, 166, 170]。此外，张等人[10]提出了一个结合了RNN、CNN和AE的混合模型，从MI EEG中提取有信息的特征，识别用户想说的字母。
5.4. 安全
脑信号可以用于识别（或识别）和身份验证（或验证）等安全场景。前者进行多类分类以识别一个人的身份[6]。后者进行二元分类以决定一个人是否被授权[61]。
大多数现有的生物识别身份验证系统依赖于个人的固有生理特征，如面部、虹膜、视网膜、声音和指纹[6]。他们容易受到基于反监视假面、隐形眼镜、声码器和指纹膜的各种攻击。基于EEG的生物识别人员识别是一个有前途的替代方案，因为它对欺骗攻击的抵抗力很强——个人的EEG信号对于冒名顶替者来说几乎是不可能模仿的。小池等人[161]采用了深度神经网络来识别用户的ID，基于VEP信号；毛等人[180]应用了CNN来识别基于RSVP信号的个人；张等人[6]提出了一个基于注意力的LSTM模型，并在公开和本地数据集上进行了评估。EEG信号也与步态信息结合在一个混合深度学习模型中，用于双重身份验证系统[61]。
5.5. 情感计算
用户的情感状态为许多应用提供了关键信息，如个性化信息（例如，多媒体内容）检索或智能人机接口设计[99]。最近的研究表明，深度学习模型可以提高情感计算的性能。最广泛使用的环形模型认为情绪在两个维度上分布：唤醒度和价值度。唤醒度指的是情绪刺激的强度或情绪的强度。价值度指的是体验情绪的人之间的关系。在其他一些模型中，采用了主导度和喜好度维度。
一些研究[89-91]试图根据EEG信号，使用深度学习算法如CNN及其变体[87]，将用户的情绪状态分类为两个（正面/负面）或三个类别（正面、中性和负面）。DBN-RBM是最具代表性的深度学习模型，用于发现情感自发性EEG的隐藏特征[96, 99]。徐等人[99]应用DBN-RBM作为特征提取器，基于EEG分类情感状态。
此外，一些研究人员试图识别每个特定情绪维度的正面/负面状态。例如，尹等人[107]采用了一个AE的集合分类器，以识别用户的情感。每个AE使用三个隐藏层来滤除噪声，并导出稳定的生理特征表示。该模型在基准DEAP上进行了评估，获得了77.19%的唤醒度和76.17%的价值度。
5.6. 驾驶员疲劳检测
车辆驾驶员保持警觉并保持最佳性能的能力将极大地影响交通安全[145]。EEG信号已经证明在不同情境下评估人的认知状态很有用。通常，如果反应时间低于0.7秒，驾驶员被视为处于警觉状态，如果高于2.1秒，则被视为疲劳状态。Hajinoroozi等人[153]考虑了通过发现明显特征从EEG信号中检测驾驶员的疲劳。他们探讨了一种基于DBN的降维方法。
检测驾驶员疲劳非常重要，因为驾驶员的困倦可能导致灾难。驾驶员疲劳检测在实践中是可行的。在硬件方面，EEG单个信号的收集设备是现成的，足够便携可以在车内使用。此外，EEG头盔的价格对大多数人来说是可承受的。在算法方面，深度学习模型提高了疲劳检测的性能。正如我们总结的，基于EEG的驾驶困倦可以准确地被识别（82%-95%）。
驾驶疲劳检测的未来范围在自动驾驶场景中。我们知道，在大多数自驾驶情况下（例如，自动化水平3 11），预期人类驾驶员能够适当地回应干预请求，这意味着驾驶员应保持警觉状态。因此，我们相信基于脑信号的驾驶疲劳检测的应用将有利于自动驾驶汽车的发展。
5.7. 心理负荷测量
EEG振荡可用于测量心理工作负荷水平，这可以在人机交互的背景下支持决策制定和策略发展[150]。此外，适当的心理工作负荷对于维持人类健康和预防事故至关重要。例如，人类操作员的异常心理工作负荷可能导致性能降低，从而可能引发灾难性事故[231]。通过连续EEG评估操作员的心理工作负荷水平在人机协作任务环境中十分有前景，以预警临时操作员性能的降低。
许多研究人员已经开始关注这个主题。心理工作负荷可以从fNIRS信号或自发性EEG中测量出来。Naseer等人采用了一个MLP算法进行基于fNIRS的二元心理任务水平分类（心理算术和休息）[38]。实验结果表明，MLP优于传统的分类器，如SVM，KNN，达到了最高的96.3%的准确率。Bashivan等人[159]提出了一种统计方法，一个DBN模型，用于基于单次试验EEG识别心理工作负荷水平。在使用DBN之前，作者手动从三个频带（theta，alpha和beta）提取出小波熵和频段特定功率。最后，实验证明了心理工作负荷的识别达到了总体92%的准确率。Zhang等人[156]通过一个递归-卷积框架研究了通过多种心理任务的心理负荷测量。该模型同时学习来自空间、频谱和时间维度的EEG特征，结果在二分类（高/低工作负荷水平）中达到了88.9%的准确率。
5.8. 其他应用
除了以上的应用外，还有很多有趣的场景可以应用基于深度学习的脑信号，例如推荐系统[135]和紧急刹车[144]。一个可能的话题是视觉对象的识别，这可能用于有罪知识测试[195]和隐蔽信息测试[168]。当参与者突然看到一个类似的对象时，他/她的神经元会产生一个脉冲。基于这个理论，视觉目标识别主要使用RSVP信号。Cecotti等人[177]的目标是建立一个通用的目标识别模型，该模型可以用于各种主题，而不是特定的主题。
此外，研究人员也尝试通过fNIRS[201]和自发性EEG[146]来区分参与者的性别。Hiriyasu等人[201]采用深度学习来根据脑血流识别参与者的性别。实验结果表明，男性和女性的脑血流变化方式不同。Putten等人[146]试图从脑节律中发现性别特异性信息，并采用了一个CNN模型来识别参与者的性别。这篇论文说明，快速贝塔活动（20-25 Hz）是最显著的特性之一。
5.9. 基准数据集
我们已经广泛探索了可用于基于深度学习的脑信号的基准数据集（表6）。我们提供了一系列公共数据集及其下载链接，覆盖了大部分的脑信号类型。特别是，BCI竞赛IV（BCI-C IV）包含了五个通过同一链接获取的数据集。为了更好的理解，我们展示了每个数据集的参与者数量、类别数量（有多少类别）、采样率和通道数量。在“# 通道”列中，默认通道是针对EEG信号的。一些数据集包含了更多的生物识别信号（例如ECG），但我们只列出了与脑信号相关的通道。
表6. 脑信号研究的公共数据集概述。'# Sub'，'# Cla' 和 'S-Rate' 分别表示参与者数量、类别数量和采样率。'FM' 表示手指运动，而 'BCI-C' 表示 BCI 竞赛。'# channel' 表示脑信号通道的数量。
脑电及红外、眼动：
北京：
南京：
核磁：
联系客服
