EEG-fNIRS跨模态迁移学习优化BCI系统分类精度

    数据采集和处理

任务过程脑电图电极、近红外辐射源和探测器的放置。除了采集fNIR数据的36个通道，还添加了按照10-20系统放置的EEG电极。

算法的总体结构。将脑电信号和fNIRS信号分别进行预处理后，分为训练集和测试集，通过ICA算法调整训练集数据的信道顺序，然后使用RCSP框架生成特征，最后结合LDA和KNN进行分类

特征提取的算法由两部分组成，模型训练和模型测试，在第一部分中，和以往基于单一信号的处理方法不同，该方法在通过基于ICA的源分布关联算法调整信道后，将脑电训练数据集引入到空间滤波器的计算中，然后基于RCSP框架再利用fNIRS数据构建复合空间滤波器。其中，RCSP正则化参数的选择通过集成学习的方法确定。最后，将滤波提取的特征输入线性判别分析（LDA）进行降维，并使用K近邻(KNN)算法进行分类。

    实验结果

基于运动想象数据的处理后大脑空间模式

在比较了CSP、R-CSPCV和R-CSP-E的总体平均分类精度后，发现R-CSP-E算法优于传统CSP算法，正确分类率平均提高了7%，说明了集合学习方法相对于传统交叉验证法的优势。与信道特征提取方法和传统的CSP算法相比，R-CSP-E可以将分类准确率平均提高至少6%。在R-CSP-E滤波器引入EEG信号后，比CSP滤波器具有更强的识别能力，这也符合神经生理学研究的预期。

该方法最主要的优势在于计算fNIRS信号特征时考虑了EEG的特征空间，提升了信息维度，从而也提高了分类结果的准确率。运动想象脑机接口在康复训练和神经功能恢复方面有广泛的应用。而fNIRS，基于神经血管耦合性，在监测大脑功能激活模式和神经康复方面也发挥了可靠的作用，可以用来监测病人的运动和认知能力随着时间推移而改善的过程。fNIRS-BCI性能的扩展提高将促进认知神经科学和神经可塑性的发展，同时也为多模态信号训练混合型BCI系统提供了一个可靠的优化思路。

参考文献：

Wang Y, Yang Z, Ji H, et al. Cross-Modal Transfer Learning From EEG to Functional Near-Infrared Spectroscopy for Classification Task in Brain-Computer Interface System[J]. Frontiers in Psychology, 2022, 13.

链接：https://www.frontiersin.org/articles/10.3389/fpsyg.2022.833007/full

---