NATURE NEUROSCIENCE脑电研究: 视觉工作记忆指导的行为中的同时视觉与运动选择

摘要：

视觉工作记忆是一种核心的认知功能，使人能保持对过去预期的感觉，这可能会指导未来的行动。然而至今，实验室任务将视觉工作记忆与预期行为分离，并将重点集中在记忆保留机制上，而忽略对工作记忆利用的机制。为了解视觉记忆如何作用于行动，牛津大学人类大脑活动中心Freek van Ede等在nature neuroscience杂志发表文章。该研究将个体的记忆项目与特定行动联系起来，并在记忆作用于行为时，分别跟踪了视觉和运动选择的神经活动。这揭示了共同发生的视觉-运动选择中，视觉和运动脑区同时参与该过程。因此，研究展示了视觉工作记忆中的项目可以诱发多个、特定的行动计划。这些计划可以与指导它们的视觉表征一起提取，从而提供快速和精确的记忆指导行为。

方法：

被试：根据前人文献确定本研究25个被试。

刺激、任务和程序：每个试次包括两个颜色条：“+”的左/右侧的颜色条向左/右倾斜。每个试次在四种颜色中随机分配两种不同的颜色：蓝色、橘色、绿色和紫色。实验程序如Fig. 1a所示，要求被试尽可能准确地再现颜色匹配项目的倾斜度。被试分别用左手和右手食指按’\’和‘/’键。颜色条倾斜直接与行动联系，若该颜色条被探测，那将需要这一行动。由于颜色条的倾斜和位置在试次中是独立的，所以项目位置与相关动作的位置（反应手）是正交的。任务的这一关键特性允许研究者独立追踪探测刺激的记忆位置（视觉属性）和刺激相关的反应手（运动属性）的相关神经活动，同时避免了容积传导/信号混合的影响。

行为数据的分析：

在探测刺激呈现4s内进行反应的试次纳入分析。反应密度在±90°范围内，以步长为5°，bin为10°进行量化。研究者分别考虑倾斜在10°不重叠bin之间的项目（也就是-70至-60, -60至-50等）。反应时密度在0-1250ms范围内，使用50ms的bin，步长为25ms进行量化。

EEG采集和预处理：

使用Synamps放大器和Neuroscan软件采集EEG数据。使用国际10-10系统的61导电极帽排布电极位置。在线参考采用左耳乳突，离线参考转换为双耳乳突平均参考。在线滤波为0.1-200Hz，采样率为1000Hz。采用MATLAB和FieldTrip与自编代码相结合分析数据。数据降低采样率为250Hz，并进行分段：探测刺激前1500ms至探测刺激后2500ms，反应前2500ms至反应后1000ms。使用ICA去除眼电伪迹：通过计算ICA成分与水平、垂直眼电的相关性来确定相关ICA成分。对于所有头皮分析，研究者采用头表Laplacian变换增加空间分辨率。在剩余的试次中，研究者通过根据视觉观察删除EEG方差较大试次。

频谱分析：

基于加hanning窗的短时傅里叶变换对数据进行时频分析。参数设置：功率谱范围为2-50 Hz且步长为1 Hz，窗宽为300 ms且步长为10 ms。为了更有效展示视觉和运动电极的偏侧化调节效应，研究者对比了视觉和运动电极簇的同侧与对侧时频矩阵。研究者将其表示为标准化差异（即[对侧-同侧]/[同侧-对侧]×100），并将左右侧电极簇的结果平均。研究者分别对视觉和运动电极簇进行该操作。为了获得偏侧化的地形图，研究者还分别计算了每个电极的左vs.右位置以及左vs.右反应手的标准化差异。研究者确定了四个电极簇：左视觉、右视觉、左运动和右运动。每类簇通过视觉观察选择2-4个电极点。为将时频矩阵降低为时间序列数据，研究者平均视觉电极簇8-12Hz（alpha）的活动，以及运动电极聚类反应手13-30Hz（beta）的频率活动。

多元解码分析：

多元解码基于0.1-30Hz频带诱发反应。研究者进行了两个额外的预处理步骤：减去单试次刺激前250 ms（基线），使用30 Hz低通滤波去除高频噪声。分别使用留一法对每个采样点进行解码，以电极点为维度的多元马氏距离进行度量。对于每个试次，研究者计算其中一个试次和剩余所有试次平均值之间的马氏距离，这些剩余试次依据与正在使用试次是否匹配而进行分类。一次是通过匹配/不匹配项目位置定义分类（即项目位置解码），一次通过匹配/不匹配反应手定义分类。如果多元神经模式包含所考虑类的信息，则匹配类的平均多元距离应小于非匹配类的平均距离。为了将解码表示为正值，研究者用匹配距离减去非匹配距离，并平均该度量。为提高敏感性，研究者基于61个电极点进行解码分析。为提高灵敏度和可视化，研究者使用标准偏差为20 ms的高斯核函数对每个被试的平均试次解码时间过程进行了平滑处理。

溯源分析：

研究者在通用MNI T1模板进行溯源分析。在源定位之前，将数据换为全脑平均参考。利用频域beamformer技术对频谱功率进行定位。对于每个脑模网格点，研究者计算了项目/响应手位于左侧/右侧试次之间的归一化功率差。分别对预先确定的8-12Hz alpha频带和13-30Hz beta频带进行分析。为了在源层面评估解码，研究者使用时域beamformer技术获得三个与每个网格点相关的空间滤波，并使用解剖自动标签（ALL）图谱将每个空间过滤器分配到相应的源中。采用空间滤波器的特异值分解对数据进行降维，得到5个成分。用这些成分重构5个虚拟通道，并将时间过程输入到多元解码分析中，得到2个解码时间过程（一个用于项目位置，一个用于反应手）。

数据分析和潜伏期量化：

数据分析包括两步：

1）评估视觉和运动选择的神经特征。采用基于簇的置换检验方法（置换10000次），使用Fieldtrip默认的簇设置，以此获得时频地形图和解码时间进程。

2）量化其时间关系。首先，使用MATLAB的xcov函数计算视觉和运动选择时间过程之间的互相关系数，排除在群体水平观察到的时间关系可能不具有代表性。其次，使用jack-knife方法获得时间的置信区间。

结果：

个体根据探测到的记忆项详细信息来指导行动。Fig.1b展示了反应密度函数，反应密度随倾斜方向（即反应手）和大小（即反应持续时间）的变化而变化。重复误差平均为14.14±0.84°（Fig.1c），并且平均需要755.76± 52.29 ms选择相关项目并进行适当的操作（Fig.1d）。

为探讨记忆指导行为，记忆探针后，视觉表征以及对应行动如何并何时发生。研究者考虑三种假设（Fig. 1e-g）。

1）视觉-然后-运动选择模式（Fig. 1e）。

2）视觉表征在编码后很快转换为运动计划，记忆探针直接触发运动选择（Fig. 1f）。即动作是由简单的感官线索来指示

3）当潜在的动作依赖于详细的感官表征时，视觉和运动表征可以联合进行，因此当某一项目与动作相关时，可以同时（即并行）进行感官和运动选择（Fig. 1g）。为验证这些假设，研究者利用EEG追踪在工作记忆使用过程中视觉和运动选择的进行（输出控制）。研究者将项目位置和反应手作为视觉和运动属性。研究者将依赖于项目位置的神经活动的偏侧化模式（视觉属性）归因于视觉选择，而将依赖于所需的反应手的偏侧化模式归因于运动选择（随后是动作实现）。

Fig. 1 任务、表现和假设情景。

a 被试看到两个彩色条，并在工作记忆延迟后重现颜色匹配项的倾斜情况。颜色条的倾斜与所需的反应手直接相连，因此向左（或向右）倾斜的颜色条需要用左手（或右手）食指进行反应。每个试次包含一个向左倾斜和一个向右倾斜的杆，随机分配到屏幕上的左右位置，呈现项目位置和所需的反应手在试次间正交呈现。

b平均反应密度（反应的比例）是报告倾斜和探测项目倾斜的函数。

c响应密度偏离所要求倾斜的程度。灰色的线表示被试，而蓝色的线表示被试平均值。

d 响应起始时间的平均密度。

e-g记忆探针后，视觉和运动选择的假设模型。

视觉和运动电极簇中的频谱调节。视觉选择与探测项目位置对侧电极的8-12 Hz alpha振荡的显著衰减（相对于同侧）有关（Fig. 2a）。这个调节发生在后部电极（Fig. 2b），并且定位于视觉和顶叶脑区（Fig. 2c）。对与所需反应手相关的频谱偏侧化分析得到了中部电极（Fig. 2d, e）和运动脑区（Fig. 2f）的运动选择的等效特征。相关反应手对侧功率的相对衰减现在也包括预期的13-30Hz频段（Fig. 2d）。在单独的分析中，研究者结合高灵敏度和良好的时间分辨率，利用时间多变量分类对广泛频带分布EEG信号（即时变电压信号）的项目位置和所需反应手进行解码，进一步补充了频谱（频域）分析。探测开始后200 ms左右（在反应之前），研究者可以稳健地对项目位置和反应手进行解码（Fig. 3a）。

Fig. 2工作记忆使用过程中视觉和运动选择的频谱特征。

a 探测项目记忆位置的选定视觉电极的频谱偏侧化（对侧-同侧）。黑色轮廓表示显著簇（双侧基于簇的置换检验）。任何置换产生的簇均比观察到的数据更小（这意味着p值小于 0.0001）。

b 左右记忆位置8-12 Hz alpha功率在400-800 ms的地形差异（左减右）。c 与b为相对应的源定位结果图。d 与a类似，但呈现的是运动选择的结果图。e-f 与b和c类似，但呈现的是左右反应手13-30 Hz beta功率的结果图。

为了追踪与项目位置和反应手选择相关的神经信息的时间-空间轨迹，研究者还以探照灯的方式对电极子集和源定位结果进行了迭代分析（Fig. 3b），项目位置信息从后部（假定视觉相关）电极开始，并很快扩展到更广泛的脑区。运动信息也会随着时间的推移而扩散，但在中部（假定运动相关）电极上仍然最显著。源定位分析证实了视觉和运动脑区分别对初始项目位置和反应手解码的贡献（Fig. 3c, d），这证明视觉和运动解码的独立性。交叉概化分析进一步强化了研究者独特的设计和分析能力来有效、独立地衡量视觉和运动选择，这种方法中，项目位置的解码概化到左右反应手试次中，反应手解码概化到左右项目位置试次中。

Fig. 3工作记忆使用过程中视觉和运动选择的时间解码。

a 对探测项目的视觉位置和反应手的时间过程解码。解码表示为匹配与非匹配试次类之间的马氏距离之差（非匹配减去匹配得到正解码值）。所有61个脑电图电极均纳入多元维度。对每个时间点分别进行解码估计。水平线表示显著的时间簇（双侧基于簇的置换检验）。在这两个时间过程中，没有置换产生的簇比观察到的数据更大（这意味着p值小于 0.0001）。

b 视觉（项目位置）和运动（反应手）为时间函数进行解码的地形图。利用迭代探照灯方法构造解码拓扑结构，考虑每个电极与其相邻的相邻侧电极。

c-d 与b相对应的源定位分析结果图。

为了以更大的粒度揭示视觉和运动选择之间的时间关系，研究者将视觉和运动频谱的偏侧化简化为简单的时间过程，并将所有相关的时间过程（频谱和解码特征）归一化为峰值。这证实了视觉和运动选择的时间分布高度重叠，这两种类型的神经特征都是如此（Fig. 4a）。结果表明没有发现系列模式，即视觉-然后-运动选择。研究者通过计算每个被试视觉和运动选择时间过程之间的相互关系，排除由于被试选择特征的个体差异导致时间过程一致（Fig. 4b），进一步反对“唯一运动”的假设。

    为更正式地量化视觉和运动选择的时间进程，研究者采用jack-knife方法获得时间置信区间。串行模型（Fig. 4c）预测的运动选择信号发生时间比序列模型（Fig. 1e）预测的要早得多。当用t值表示时（Fig.1d），串行模型观察到的运动选择过程发生的时间明显早于序列零模型预测的时间（在Fig. 4d的红点），然而，运动选择的时间从来没有明显晚于预测的平行零模型（在Fig. 4d的黑点）。

Fig.4 工作记忆中视觉和运动属性的平行（而非序列）选择。

a 对识别出的视觉和运动选择的频谱和解码特征的归一化时间过程。对于频谱数据，通过对8-12 Hz选定视觉电极的项目位置偏侧化进行平均得到视觉选择时间历程，对13-30Hz选定运动电极的反应手偏侧化进行平均得到运动选择时间历程。

b 评估每个被试的视觉和运动选择时间过程之间的相互关系系数（灰色线），然后平均（黑色线）。

c 视觉和运动选择的时间95%置信区间（基于jack-knife的潜伏期分析），在峰值的10-90%进行评估，步长为10%。红色数据点表示在严格的串行模型下预测的运动时间，串行模型中，当视觉选择达到峰值时运动选择开始（见图1e）。

d 基于jack-knife统计的t值表示运动选择与视觉选择时间进程的时间差异（并行零模型），或者运动选择与视觉选择随自己持续时间所改变的时间进程的时间差异（串行零模型）。

一句话总结：

虽然记忆本质上是关于过去的，但在记忆中保持的详细感官信息目的是指导适应未来行为。该研究表明，大脑的自然倾向可能是在工作记忆期间将预期的手部行为与特定的感官表征联系起来。视觉和运动记忆属性的同时有效性允许通过详细的视觉记忆内容对所选的动作进行细化，从而生成既快速（与当时的视觉-运动场景相比）又精确（与惟一的运动场景相比）的动作实现。当前工作所促进的感觉-运动概念化是对先前工作的补充，为连接视觉工作记忆和运动控制的文献提供了重要步骤。该研究强调考虑工作记忆基本的前瞻性、目标导向和性质的重要性，工作记忆的使用效果同其保持能力一样重要。

原文：

Chekroud,S. R., Stokes, M. G., & Nobre, A. C. (2019). Concurrent visual and motorselection during visual working memory guided action. NatureNeuroscience. 22(3):477-483.