国内研究人员提出了一种基于触觉和视听刺激融合的脑电情感诱发范式

最近，国内的研究人员提出了一种新颖的情感诱发范式，该范式将触觉振动与视听内容同步，形成视觉-听觉-触觉混合感知的范式，提升情感诱发的效果。具体来说，本方案通过改变触觉振动的频率、强弱和方向并将不同振动模式嵌入到相应的情感诱发电影片段中，最终利用堆叠集成学习框架完成对触觉情感脑电的识别。

该成果发表在IEEE Transactions on Instrumentation and Measurement，题为EEG-Based Emotion Recognition With Haptic Vibration by a Feature Fusion Method。

研究表明，完成情感交流最有效的方式之一是通过非视觉、非语言的线索，例如触觉。因此，本研究提出了一种新颖的情感诱发方案，将触觉技术与情感的诱发及识别相结合。该情感触觉反馈技术可以加强获得的情感信息，将情感准确、有效地传递给受试者。本研究分为两种场景下的情感脑电实验（触觉和非触觉）。通过对比不同场景下脑电情感识别准确率，可发现添加触觉振动效果后情感识别性能优于非触觉场景。该结果表明，触觉振动在一定程度上有助于诱发目标情感。

 二、   研究路线

图1 触觉情感脑电识别框架

所设计的触觉增强情感诱发实验的总览如图1所示。通过将触觉振动嵌入电影片段的Highlight中，完成情感诱发增强，并实时采集EEG信号。该框架由六个部分组成：触觉增强的情感诱发、EEG预处理、基于时-频-空特征提取、特征融合、基于t-SNE的特征降维和基于堆叠集成学习的情感识别。

 三、   实验设计

1.触觉夹克设计

图2 触觉夹克设计示例

触觉刺激效果是通过一个定制的触觉夹克实现的。其中，触觉夹克包含杜邦线、一块PCB板和30个微型嵌入式执行器（9个执行器安装在前胸位置，9个执行器安装在后背位置，6个执行器安装在左臂，6个执行器安装在右臂）。执行器和控制电路使用杜邦线连接，整个外套由一个可充电的电源模块供电。

表1 触觉振动模式

2.实验范式设计

15名心理状态良好的研究生作为受试对象（10名男性、5名女性），平均年龄22岁。所有受试者均为右利手，母语均为中文，实验开始前，要求受试者了解实验目的、实验过程及相关注意事项，并签署实验方案。

图3 触觉与非触觉电影片段播放流程

触觉振动效果被添加在特定的场景中（快乐、恐惧和悲伤），如图3所示。每个情感电影片段有5个不连续的Highlight，片段时长超过12秒。振动在特定的时间段产生，包含6秒的无振动与6秒的振动。

实验流程：如图4所示，每次实验中的电影片段持续时间约为4分钟。电影片段开始时，屏幕上出现10秒的十字符号，这促使受试者将注意力集中在电影片段上。每个电影片段播放完毕后，受试者都有60秒的休息时间，然后进行下一个试次，每次实验共有12个试次。对于每一个受试者，我们在观看每一个电影片段时收集五段EEG信号，EEG信号包含32个通道（Fp1, Fp2, F7, F3, Fz, F4, F8, FC5, FC1, FC2, FC6, T7, C3, Cz, C4, T8, CP5, CP1, CP2, CP6, P7, P3, Pz, P4, P8,PO3, PO4, O1, Oz和O2）。

图4 触觉脑电实验流程

 四、   预处理

EEGLAB工具箱被用来对EEG信号进行预处理。采样频率降至200Hz，使用TP9和TP10对信号进行重参考，4-50Hz的带通滤波以及50Hz陷波滤波。使用独立成分分析消除眼电和肌电伪迹，同时将EEG信号分为四个频段（θ：4–8 Hz；α：8–14 Hz；β：14–32 Hz；and γ：32–50 Hz）。

 五、   实验结果

1、频带能量分布分析

为了研究情感状态的连续变化过程，对EEG信号进行了基于短时傅里叶变换（STFT）的时频分析，并选择了一个1秒的滑动窗口。对有触觉或无触觉的EEG信号分别进行叠加和求平均值。

图5 15名受试者在同类情绪下的平均时频分析

结果显示，快乐(b)、恐惧(c)和悲伤(d)的能量分布主要在α和β频段，θ和γ频段较少。在触觉状态下，三种情感(e,f,g)的能量分布比非触觉状态宽。此外，恐惧(e)和悲伤(g)的能量分布在α和β频段明显较高，这可能表明触觉振动可以提高受试者的注意力，从而引发相应的情绪。此外，还发现受试者的情感波动越强烈，能量分布越广泛。

2、脑区重要性分析

图6表明，触觉振动对大脑区域有不同的影响。我们发现，在非触觉状态下，三种情绪（快乐、恐惧和悲伤）的左侧颞上叶和左侧颞下叶区域呈现低激活状态，右侧颞叶区域同样呈现低激活状态，而前额叶区域呈现高激活状态。在触觉状态下，三种情感（快乐、恐惧和悲伤）的左侧颞叶显示出明显的低激活区域的集中，而额叶区域在触觉状态下显示出较高的激活水平。综上，随着触觉振动的应用，额叶的激活逐渐增加，这可能表明额叶与人类的情感活动有更密切的联系。

图6 15名受试者在不同情绪状态下微分熵特征的脑地形图

3、情感分类结果

表2显示了支持向量机(SVM)对四个频段不同特征的分类结果。我们可以观察到，功率谱密度(PSD)、微分熵(DE)、小波熵(WE)和功能脑网络(BFN)特征在触觉状态下的平均分类准确率在所有频段都高于非触觉状态，准确率分别提高了1.86%、1.88%、1.03%和6.27%。对于四个不同的特征，β和γ频段的平均分类精度比其他频段高，这表明β和γ频段在EEG情感识别中更为关键。在触觉和非触觉状态下，DE特征通过SVM取得了最出色的表现。

表2 四种特征在不同频段下的分类结果

为了研究不同领域的特征对触觉状态的情感分类的影响，我们融合了上述四个特征，并使用堆叠集合学习框架对基于触觉的EEG情感特征进行分类。表3显示了通过堆叠集合学习框架对不同特征的平均分类精度。实验结果表明，单频段和全频段的融合特征的分类性能优于其他单一特征。此外，提取的BFN的分类性能并不理想，低于平均水平，但将BFN特征融合到PSD、DE和WE特征中的方法改善了分类效果。

表3 基于堆叠集合学习框架的不同特征分类结果

表4 基于融合特征的不同分类器的分类结果表4显示了四个不同的分类器在单频段和全频段的融合特征的分类结果。叠加模型的平均分类精度为85.46%，明显优于线性SVM、K近邻(KNN)和随机森林(RF)分类器。另一方面，我们发现不同的分类器在所有频段的平均准确率都比单频段的好，这可能是由于所有频段包含的情感信息更全面。

表4 基于融合特征的不同分类器的分类结果

 六、   总结

本工作提出了一种通过脑电信号对触觉多媒体进行情绪识别的方法。15名受试者分别观看了非触觉状态的电影片段和触觉刺激下的电影片段，并同时记录了他们的EEG数据。脑电信号的PSD、DE、WE和BFN特征被提取并融合，并应用堆叠集成学习模型实现情感识别。实验结果显示，触觉刺激下的情感平均分类精度为85.46%。通过该结果可推测在观看特定情感的电影片段时，对被试者施加相应的触觉振动，可以在一定程度上帮助诱发目标情感。

‍‍‍‍‍‍

参考文献：

EEG-Based Emotion Recognition With Haptic Vibration by a Feature Fusion Method

---