原标题：对注意的再思考：一个注意的强化学习模型
作者简介：程少哲，史博皓，赵阳，徐昊骙，唐宁，高涛，浙江大学心理与行为科学系；周吉帆（通讯作者）（E-mail：jifanzhou@zju.edu.cn），男，博士，浙江大学心理与行为科学系，特聘副研究员；沈模卫（E-mail：mwshen@zju.edu.cn），男，博士，浙江大学心理与行为科学系教授（杭州310028）。
内容提要：本文在分析总结现有注意理论的基础上，假设注意是一种信息选择现象，而非心理结构或资源。通过借鉴人工智能领域强化学习算法的思想，笔者提出了一种可以表现出注意现象的人类强化学习模型。该模型描述了人与环境交互的过程：人接受环境的反馈，根据自身心理状态调整行为策略，以最大化所获收益。该过程中，注意体现为高价值信息逐渐获得优先加工的现象。因此，本文对注意的本质进行了重新思考，为未来注意研究提供了新思路。
关 键 词：注意 强化学习 计算模型 人工智能
标题注释：国家自然科学基金项目(31571119，31600881，61431015)和中央高校基本科研业务费专项资金资助。
中图分类号：B842.1文献标识码：A文章编号：1006-6020(2017)-01-0003-10
1 什么是注意
日常生活中，每时每刻都有大量相关和无关的信息通过各种感觉通道进入大脑，认知系统可以有效地忽略无关信息，执行有效的认知加工。这种将认知加工聚焦于部分信息的机制通常被心理学家称为注意(Kinchla，1992；Buschman & Kastner，2015)。正像James(1890)曾说过的“每个人都知道注意是什么”，人人都拥有对注意清晰的主观体验，我们却难以给它下一个明确的学术定义。研究者们对注意的描述和解释，往往需要通过各种隐喻来完成。早期的研究者将注意比作过滤器(Broadbent，1958)，认为注意的主要作用是以“全或无”的方式对信息进行选择。该理论得到双耳分听实验(Cherry，1953)的支持，只有那些从追随耳进入受到注意的信息得到了进一步加工。后续研究发现，非追随耳中呈现的人名等有特殊意义的刺激也能捕获注意，表明注意并非以严格的全或无方式过滤信息，而是以相对温和的衰减器(Treisman，1960)方式调节输入信息的强度。另有研究者认为，注意选择是发生在反应阶段而非感知觉加工阶段，并据此提出了反应选择模型(Deutsch & Deutsch，1963)。视觉注意的研究者们对注意所做的比喻则更具视觉特色，将其比喻成聚光灯(spotlight)(Posner，1980；LaBerge，1983)、变焦镜(zoom-lens)(Eriksen & Yeh，1985)等。这类模型认为视觉注意存在一个焦点，在焦点附近的信息会获得更好的加工。上述各类注意的隐喻理论表明，注意具有加工瓶颈的特点，同时暗示注意是一种选择“装置”，属于信息加工系统中的一部分，负责将认知加工引导至某些特定信息。
上述理论试图解释注意的作用，而另一些理论则致力于回答“为何需要对信息进行选择”。该问题的一个简单而直观的答案是，认知资源是有限的，因此只能选择部分信息深入加工。Kahneman(1973)的注意资源理论认为，注意是用于执行认知任务的有限的资源，注意资源的调用与唤醒水平紧密联系。由于注意资源总体有限，认知任务只能在受限的范围内进行。在过去的30年中，注意资源说一直在变化盲(change blindness)(Simons & Levin，1997)和非注意视盲(inattentional blindness)(Simons & Chabris，1999)等实验的解释中占据一席之地。这些对各类明显的视觉刺激和变化视而不见的现象，往往被归因于在认知资源有限的条件下目标刺激未得到充分的认知加工。随后的研究则进一步将注意资源进行了细分，提出了基于客体的、空间的和特征的注意等概念(Kastner，Pinsk，Weerd，Desimone，& Ungerleider，1999；McAdams & Maunsell，1999；Moran & Desimone，1985；Treue & Martinez-Trujillo，1999；Maunsell & Treue，2006；Duncan，1984；O'Craven et al.，1999)。大量研究表明，不同类型的注意资源对执行相应任务的绩效存在特异性(e.g.，Shen，Huang，& Gao，2015；Gao，et al，2016)。
可见，当前心理学中的主流注意理论都将注意视为执行信息选择的心理结构，或认知资源，成功解释了许多与注意相关的实验现象。然而，注意理论的天空中却长期飘着几朵“乌云”——各种注意理论均存在一些悬而未决的问题。例如，注意的聚光灯隐喻实际上是意识剧场隐喻的一个变种，若将注意比作聚光灯，那么是谁在观看灯下照亮的场景，又是谁在控制聚光灯的焦点？追问之下，这种隐喻似乎意味着意识小人(conscious homunculus)的存在，它控制了我们的注意，产生了我们的主观体验。那么问题就变成意识小人如何控制注意，以及小人头脑里是否存在另一个小人以实现控制过程，最终将陷入小人谬误(homunculus fallacy)的陷阱中(Richard & Gregory，1987)。类似的困境也存在于过滤器等隐喻中，这些理论虽然解释了注意的作用，却隐含地假设存在着一个本身难以解释的信息选择主体。注意的资源说则面临着另外一个问题，即资源究竟是什么。在注意资源说的表述中，注意资源似乎是万能的，它可以加快加工速度、提高加工精度和准确性、导致更好更持久的记忆。此外，这种资源可以自由分配于各种不同的加工通道和加工阶段，甚至它们共享同一个资源池，例如工作记忆与知觉共享注意资源(Cowan，1988)。然而，如此万金油般的“资源”似乎既未找到对应的生理机制，也未得到计算理论的支持。此外，有关注意资源理论关键的研究问题应该是，为何注意资源可以如此万能地帮助执行各种不同心理过程。该问题尚未获得令人满意的答案。上述理论困境促使我们反思——将注意看作客观存在的心理结构或资源是否正确。
解决上述困境大致存在两条途径：其一是继续推进现有理论框架下的研究，尝试解决原有假设中存在的问题；其二是重新思考注意的本质，摆脱可能导致问题的旧假设，从新的基本假设出发理解注意。笔者认为，一种可能的假设是，注意是某些心理加工过程表现出来的一种现象。混淆了事物内部本质与其外在现象的例子在自然科学其他领域也并不罕见。例如，人类历史上长期将火看作是一种基本元素，认为木头燃烧释放火元素后变成了灰(主要为土元素)。直到近代化学诞生后，人们才逐渐认识到火是剧烈氧化反应伴随的发光发热现象。之所以在不同的古代文明里火都被认为是基本元素，很大程度上是因为火具有鲜明的视觉形象：木头燃烧过程中熊熊的火焰清晰可见，但氧气的介入和二氧化碳的释放却看不见。这种“眼见为实”的感觉使火看起来像一种客观存在的物质。与之类似，我们对注意过程有明确的主观觉知，但仅因此就将其视为客观存在的心理结构或资源可能不利于揭示其本质。当代心理学已经发现大多数心理过程可以在无意识状态下进行；而且存在各种各样的错觉，抑或是虚假的主观体验。因此，注意有可能是某些心理过程(大部分是意识不到的)所伴随的现象，这种现象在客观上体现为对信息的选择性加工，在主观上体验到精神集中状态和主体控制感。那么，研究的关键就不是解释现象本身，而是揭示造成该现象的原因，即考察导致注意现象的心理过程。
根据上述假设，注意研究的主要任务是描述一种可以表现出信息选择现象的心理过程。要揭示这种心理过程的本质，不妨从信息本身入手，思考“认知系统选择了什么信息”和“信息选择的目的为何”两个问题。事实上，已有学者提出类似观点，并从上述两个问题出发构建理论模型。例如Krauzlis等人认为注意不过是一种现象，是决策过程中为了获得更大价值所带来的副产品，注意是决策过程的结果而不是原因(Krauzlis，Bollimunta，Arcizet，& Wang，2014)。根据这种观点，认知系统选择了对于当前决策而言具有高价值的信息，信息选择的目的是为了价值的最大化。这种基于价值的信息选择机制和策略的形成可能是学习的结果，它一部分是人类进化形成的，另一部分则是个体后天习得的。研究发现，刚出生的婴儿就表现出对生命信息(例如人脸和言语)的注意偏好(Frank，Vul，& Johson，2008)，表明这种选择机制可能是一种进化形成的特性(Haladjian & Montemayor，2015)；同时与成人比较，婴儿的注意在完成特定任务时还略显“稚嫩”：如果将成人的注意比作聚光灯，能快速聚焦于关键客体，那么婴儿的注意更像一盏灯笼(Gopnick，2009)，更为扩散和随意。一项有关儿童学习的研究发现，4岁儿童在学习类别概念时，容易被新异的刺激所吸引而忽略客体的关键信息；6岁儿童的注意与成人基本相同，能快速地注意到那些决定物体类别的关键特征(Sloutsky，2016)。上述结果表明，选择性注意是动态发展的，而且可能是在与复杂环境的交互中习得的。在一系列基于价值的学习过程中，认知系统完成了从信息无区别加工到有选择加工的转变，被选择的这部分信息可使利益最大化。
人类受价值驱动的行为有着深远的生态意义，与行为相联系的奖赏直接影响着人们的注意捕获和视觉工作记忆(Anderson，Laurent，& Yantis，2011；Gong & Li，2014)。而最大化行为效用，也是人类智能和机器智能共同追求的目标(Gershman，Horvitz，& Tenenbaum，2015；Jara-Ettinger，Gweon，Schulz，& Tenenbaum，2016)。为了获得更大的价值，人们往往在内部心理状态(包括知识、信念、动机、目标等)影响下加工输入信息形成心理表征，并根据心理表征做出行为反应，获得相应的反馈。在行为—反馈的不断交互中，为最大化行为所带来的奖赏，我们逐渐习得了信息选择性加工的策略。这种过滤信息的属性，是我们在优化行为决策时表现出的一种必然结果，是我们在面对复杂世界时高效学习的产物。这种通过以追求最大效益为目的的注意学习过程，与当前人工智能领域最为先进有效的算法——强化学习的基本思想完全一致。因此，我们认为注意背后的心理本质是基于行为价值的强化学习过程，注意是该学习过程表现出的信息选择现象，以强化学习算法为核心的计算模型可以解释人的动态注意。该模型将在本文第三部分具体展开，在此之前，有必要回顾现有关于注意的计算模型。
2 当前的注意计算模型
传统的注意计算模型，主要关注自下而上的注意，描述环境中那些突出、新异的刺激如何捕获人们的注意。例如Itti等人(1998，2001)的显著性地图模型。近来，也有研究者把注意当作一种自上而下的推理过程(Vul，Hanus，& Kanwisher，2009)，采用贝叶斯技术描述具体视觉场景下的注意分布。下面简要介绍这两方面的计算建模工作。
2.1 自下而上的注意模型
自下而上注意的计算模型中，显著性地图(saliency map)占据了主流地位。该模型认为，那些与背景差异显著的区域会自动吸引注意。受到特征整合理论的启发，这类方法从图像的低层信息，例如亮度、颜色、朝向中提取特征，并将其整合到显著性地图上，从中寻找高对比的区域作为注意的焦点。简言之，该方法旨在寻找图像背景(context)中含有不寻常特征的位置。显著性算法主要借鉴了人类视觉感受神经元的反应原理。此类神经元仅在其感受野中心与周围信号有明显差异时开始放电，即当输入图像上该点突显于背景时神经元激活。显著性地图模型中就采用了对颜色、亮度、朝向等特征差异敏感的人工“神经元”形成初级的特征地图。
2.2 自上而下的注意模型
除了视觉刺激本身的特征外，注意还会受到人们不同的先验知识、任务需求、动机等内部心理状态的影响。对于这种自上而下的注意，已有大量的心理学研究考察其认知机制(Yarbus，1967；Giesbrecht，Woldorff，Song，& Mangun，2003)，然而解释其具体运作方式的计算模型仍较为罕见。近来有学者提出用贝叶斯推理过程描述自上而下的注意，并得到实验证据的支持(Vul，Hanus，& Kanwisher，2009；Chikkerur，Serre，Tan，& Poggio，2010；Borji，Sihite，& Itti，2014)。这些模型的基本假设是，注意是与个体感觉—运动协作(sensory-motor coordination)紧密联系的：任一时刻对场景中客体的注意影响当前时刻的行为，并且该时刻的注意会影响下一时刻的注意；此外，注意还会受到个体当前时刻的心理状态以及场景特征的影响。各种影响因素以贝叶斯网络的方式共同作用，动态决定注意分布。
2.3 当前计算模型的局限
在显著性地图模型中，“显著性”仅由刺激的物理属性定义，忽略了注意的心理属性，知识、期望、目标等内在心理过程并未参与其中。而基于贝叶斯理论的注意模型加入了上述心理变量，将注意描述成一个向前推理的过程。然而，此类模型与传统心理学理论相同，假设了一个独立的计算模块执行信息选择过程，仍然未能彻底回答注意选择是如何产生的，以及为何需要进行注意选择。
3 强化学习框架下注意的计算模型
与之前的理论和模型不同的是，我们的模型并未假设特殊的计算结构用以实现信息的选择，而仅仅描述了一个强化学习的过程。在智能体与环境交互情境中，为了最大化价值反馈，强化学习过程可以自然表现出一系列行为策略的动态调整和信息的选择性加工现象。
模型结构如图1所示，在一个强化学习的环境中，人(或智能体)当前的状态，由感知觉信息和先验知识共同构成。在该状态下，人们做出行为，获得相应的价值反馈。此后，根据获得的反馈，改变自身心理状态，从而调节行为策略(π)，不断循环往复。在一系列的状态—行为转换过程中，由于个体行为发生改变，环境给个体的输入信息也会随之发生改变。为了得到更多的累积价值，行为策略将逐渐收敛至那些能带来较多期望价值的“最优化”策略，输入的信息中具有较高价值的部分也会逐渐获得优先加工。该过程中表现出的过滤信息、选择性反应的现象，便是注意。在该框架下，注意自上而下和自下而上的过程可以分别由强化学习中基于模型和无模型的两类算法实现。下面依次介绍强化学习及有/无模型的两类学习算法。
图1 强化学习模型框架
3.1 强化学习
强化学习(reinforcement learning)是人工智能领域用于解决动态决策问题的一类算法，目的是让智能体(agent)在与动态环境的交互中不断优化自己的行为策略，使收到的行为反馈效价最大化(Sutton & Barto，1998)。强化学习算法主要有两方面的思想基础，一方面是心理学中行为主义学派关于动物学习的理论(Pavlov，1927；Thorndike，1911)；另一方面是数学中的优化控制理论(Bellman，1957)。动物学习的研究发现了效果律(law of effect)，揭示了个体行为与环境反馈之间的联系，即刺激与行为的联结在环境正反馈的条件下增强；而工程实践上，贝尔曼方程(Bellman equation)和马尔科夫决策过程(Markov decision process，MDP)的发明，解决了动态决策过程中优化控制的数学问题。前者为奖赏提供了数学描述，使强化学习可以从数学上转化为优化控制问题；而后者，则为求解该问题提供了解决方案。
强化学习可以表达为一个马尔科夫决策过程，由状态(state)、行为(action)、奖赏(reward)三个环节构成。以视觉注意为例，状态表示与注意相关的心理状态，包括对外部视觉刺激的表征和包含先验知识、自身信念、动机和目标的心理模型；行为表示会影响信息输入的行为，例如眼动；奖赏表示收到的奖赏信号，即某个状态下收到的正、负反馈，包括外部反馈(环境给予的现实奖赏)和内部反馈(心理奖赏信号，例如视觉搜索任务中找到目标带来的成就感)。在动态决策过程中，奖赏由当下的即时反馈和未来预期的反馈共同决定。由于MDP的马尔科夫性质，即状态转移的概率只依赖于前一个状态，我们可以用贝尔曼方程以递归的方式表达价值函数V：
上述方程中，V函数表示在t时刻、s状态下作出a行为时获得的总价值，等于t时刻的收到即时奖赏r加上被折扣(γ＜1)的未来(t+1时刻)奖赏，其中时刻间的转移概率由模型P定义；π是强化学习产生的行为策略，代表状态s到相应行为a的映射(此映射可以是决定性的a=π(s)或概率性的
图2 强化学习的动态过程
在该模型中，注意所表现出来的自下而上和自上而下的特性，并不是相互割裂的两个系统。如图2所示，人的状态由外部表征和心理模型两部分构成。外部表征是对外部环境的表征，由刺激输入决定；心理模型包括先验知识和动机、目标等内在心理状态，这些潜在的心理状态可以由层次概率模型(Tenenbaum，Kemp，Griffiths，& Goodman，2011；Ondobaka，Kilner，& Friston，2015)进行抽象表征。自下而上的注意主要是外部表征所起作用的体现，而自上而下的注意主要是心理模型所起作用的体现。两部分在强化学习的过程中相互影响，心理模型基于外部表征评价信息的价值预测未来的反馈，从而决定行为策略，而行为又反过来影响信息输入。
3.2 无模型和基于模型的强化学习
注意作为一种现象，在本模型强化学习的语境下是优化控制的结果。其本质是智能体为了最大化奖赏而习得的一种最优策略，它包括行为策略，和由表征方式和心理模型共同决定的内部信息加工策略。而解决这个优化控制问题，主要有两类算法。
第一类我们可以直接从等式(1)左侧的一系列V值中，通过时间差(Temporal-Difference；Sutton & Barto，1998)算法直接迭代求得，这种方法被称为无模型(Model-Free)的强化学习，近来在人工智能领域有着优异表现(Mnih et al.，2015)；而与之对应是基于模型(Model-Based)的强化学习，该算法需要首先学到两个关于环境的模型
人类智能优于人工智能的一个重要方面就是人类擅长构建现实环境的因果模型。虽然直接从经验中学到奖赏与状态—行动关联的无模型强化学习在计算上较为高效，但在现实世界中，环境往往是部分可见(partially observable)且充满了不确定性，奖赏信号可能并不时常出现。而基于模型的学习使我们能从有限的奖赏经历中学习到环境的知识，并利用这种知识(模型)帮助我们更好地预测环境，使学习过程可以不必完全依赖现实反馈，并减少蒙受实际损失的可能性。这种基于模型的强化学习能力往往代表了人类的“强认知”能力(Silver et al.，2016；Vigorito & Barto，2010；周吉帆等，2016)。此类能力同时也体现在注意的控制方面，我们不仅能注意到环境中那些突出的物理刺激，还能利用已有的知识控制我们的注意，使那些预期能带来正反馈的信息得到优先加工(Li，Delgado，& Phelps，2011)。
近来，计算视觉、人工智能领域的工程实践越来越多地将注意机制加入到算法模型中，显著提升了机器翻译、客体识别、图片注释的绩效(Bahdanau，Cho，& Bengio，2014；Mnih et al.，2014；Xu et al.，2015)。此类工作中，注意往往是一个给定的、拥有聚焦性质的模块，帮助机器解决学习过程中遇到的维度诅咒(curse of dimensionality)问题，缩小了假设空间，使一些高度复杂计算问题的解决成为可能。然而，当前人工智能中所谓的注意选择往往只依赖于刺激特征与反馈的联系，并未涉及因果关系，因此在面对场景理解等复杂问题时，机器的注意往往显得不合逻辑(Lake，Ullman，Tenenbaum，& Gershman，2016)。如果要让注意机制更为智能，那么自上而下的基于因果模型的控制过程是未来发展必不可少的一部分。如何产生灵活智能的信息选择方式，并将其应用到复杂、动态、不确定的环境中，是心理学和人工智能领域共同面临的一大挑战，也是后续研究的一个突破方向。
4 小结
本文从注意是一种现象的假设出发，提出在强化学习框架下研究注意的计算模型。与现有注意理论不同，该模型并不主张注意是一种固有的心理结构或资源，而认为是强化学习过程表现出的信息选择现象。该研究思路，相对于以往注意理论，具有如下进步：(1)该模型摆脱了假设选择主体的存在而带来的小人谬误陷阱，也不受过于宽泛、难以验证的资源假设的困扰。(2)该模型采用行为学习过程的一般算法作为理论基础，可以用于描述各个阶段的认知加工过程，从而能较好地解释注意现象在认知加工中的普遍性。(3)模型以统一的框架解释了自下而上和自上而下的注意，以及发生在知觉、决策、行为等各个阶段的注意选择。(4)以计算理论为技术手段，该模型可与人工智能相关研究实现直接对接，将心理学研究成果快速转化为工程实践中的生产力。沿着该思路，未来研究应着力于将模型进一步具体化，开发在具体情境下人类强化学习过程的实例，并将模型的表现与人类行为数据相比较，对模型进行验证。在不断完善模型、提高模型预测效力的基础上，做出相应心理学解释，为完善注意理论提供参考，同时为改进人工智能相关技术提供心理学依据。
参考文献：
[1]周吉帆，徐昊骙，唐宁，史博皓，赵阳，高涛等.(2016).“强认知”的心理学研究：来自AlphaGo的启示.应用心理学，22(1)，3-11.
[2]Anderson,B.A.,Laurent,P.A.,& Yantis,S.(2011).Value-driven attentional capture.Proceedings of the National Academy of Sciences,108(25),10367-10371.
[3]Bahdanau,D.,Cho,K.,& Bengio,Y.(2014).Neural machine translation by jointly learning to align and translate.arXiv preprint arXiv:1409.0473.
[4]Bellman,R.(1957).Dynamic programming.Princeton University Press.
[5]Borji,A.,Sihite,D.N.,& Itti,L.(2014).What/where to look next? Modeling top-down visual attention in complex interactive environments.IEEE Transactions on Systems,Man,and Cybernetics:Systems,44(5),523-538.
[6]Broadbent,D.E.(1958).Perception and Communication.Oxford:Pergamon Press.
[7]Buschman,T.J.,& Kastner,S.(2015).From behavior to neural dynamics:An integrated theory of attention.Neuron,88(1),127-144.
[8]Cherry,E.C.(1953).Some experiments on the recognition of speech,with one and with two ears.Journal of the Acoustical Society of America,25(5),975-979.
[9]Chikkerur,S.,Serre,T.,Tan,C.,& Poggio,T.(2010).What and where:A Bayesian inference theory of attention.Vision Research,50(22),2233-2247.
[10]Cowan,N.(1988).Evolving conceptions of memory storage,selective attention,and their mutual constraints within the human information-processing system.Psychological Bulletin,104(2),163-191.
[11]Deutsch,J.A.,& Deutsch,D.(1963).Attention:Some theoretical considerations.Psychological Review,70(70),80-90.
[12]Duncan,J.(1984).Selective attention and the organization of visual information.Journal of Experimental Psychology:General,113(4),501-517.
[13]Eriksen,C.W.,& Yeh,Y.Y.(1985).Allocation of attention in the visual field.Journal of Experimental Psychology:Human Perception and Performance,11(5),583-597.
[14]Frank,M.C.,Vul,E.,& Johnson,S.P.(2009).Development of infants' attention to faces during the first year.Cognition,110(2),160-170.
[15]Gao,Z.,Yu,S.,Zhu,C.,Shui,R.,Weng,X.,& Peng,L.,et al.(2016).Object-based encoding in visual working memory:Evidence from memory-driven attentional capture.Scientific Reports,6,22822.
[16]Gershman,S.J.,& Daw,N.D.(2015).Reinforcement learning and episodic memory in humans and animals:An integrative framework.Annual Review of Psychology,68(1).
[17]Giesbrecht,B.,Woldorff,M.G.,Song,A.W.,& Mangun,G.R.(2003).Neural mechanisms of top-down control during spatial and feature attention.Neuro image,19(3),496-512.
[18]Cong,M.,& Li,S.(2014).Learned reward association improves visual working memory.Journal of Experimental Psychology Human Perception & Performance,40(2),841-856.
[19]Gopnik,A.(2009).The philosophical baby.London:Bodley Head.
[20]Haladjian,H.H.,& Montemayor,C.(2015).On the evolution of conscious attention.Psychonomic Bulletin & Review,22(3),595-613.
[21]Itti,L.,& Koch,C.(2001).Computational modelling of visual attention.Nature Reviews Neuroscience,2(3),194-203.
[22]Itti,L.,Koch,C.,& Niebur,E.(1998).A model of saliency-based visual attention for rapid scene analysis.IEEE Transactions on Pattern Analysis and Machine Intelligence,20(11),1254-1259.
[23]Jara-Ettinger,J.,Gweon,H.,Schulz,L.E.,& Tenenbaum,J.B.(2016).The naive utility calculus:Computational principles underlying commonsense psychology.Trends in Cognitive Sciences,20(8),589-604.
[24]Kahneman,D.(1973).Attention and effort.Prentice-Hall.
[25]Kastner,S.,Pinsk,M.A.,De,W.P.,Desimone,R.,& Ungerleider,L.G.(1999).Increased activity in human visual cortex during directed attention in the absence of visual stimulation.Neuron,22(4),751-61.
[26]Kinchla,R.A.(1992).Attention.Annual Review of Psychology,43(43),711-742.
[27]Krauzlis,R.J.,Bollimunta,A.,Arcizet,F.,& Wang,L.(2014).Attention as an effect not a cause.Trends in Cognitive Sciences,18(9),457-464.
[28]LaBerge,D.(1983).Spatial extent of attention to letters and words.Journal of Experimental Psychology:Human Perception and Performance,9(3),371-379.
[29]Lake,B.M.,Ullman,T.D.,Tenenbaum,J.B.,& Gershman,S.J.(2016).Building machines that learn and think like people.arXiv preprint arXiv:1604.00289.
[30]Li,J.,Delgado,M.R.,& Phelps,E.A.(2011).How instructed knowledge modulates the neural systems of reward learning.Proceedings of the National Academy of Sciences,108(1),55-60.
[31]Maunsell,J.H.,& Treue,S.(2006).Feature-based attention in visual cortex.Trends in Neurosciences,29(6),317-322.
[32]Mcadams,C.J.,& Maunsell,J.H.(1999).Effects of attention on the reliability of individual neurons in monkey visual cortex.Neuron,23(4),765-773.
[33]Mnih,V.,Heess,N.,& Graves,A.(2014).Recurrent models of visual attention.In Advances in Neural Information Processing Systems(pp.2204-2212).
[34]Mnih,V.,Kavukcuoglu,K.,Silver,D.,Rusu,A.A.,Veness,J.,& Bellemare,M.G.,et al.(2015).Human-level control through deep reinforcement learning.Nature,518(7540),529-533.
[35]O'Craven,K.M.,Downing,P.E.,& Kanwisher,N.(1999).fMRI evidence for objects as the units of attentional selection.Nature,401(6753),584-587.
[36]Ondobaka,S.,Kilner,J.,& Friston,K.(2015).The role of interoceptive inference in theory of mind.Brain and Cognition.
[37]Pavlov,I.P.(1927).Conditional reflexes:An investigation of the physiological activity of the cerebral cortex.H.Milford.
[38]Posner,M.I.,Snyder,C.R.,& Davidson,B.J.(1980).Attention and the detection of signals.Journal of Experimental Psychology:General,109(2),160-174.
[39]Shen,M.,Huang,X.,& Gao,Z.(2015).Object-based attention underlies the rehearsal of feature binding in visual working memory.Journal of Experimental Psychology:Human Perception and Performance,41(2),479.
[40]Silver,D.,Huang,A.,Maddison,C.J.,Guez,A.,Sifre,L.,van den Driessche,G.,et al.(2016).Mastering the game of Go with deep neural networks and tree search.Nature,529(7587),484-489.
[41]Simons,D.J.,& Chabris,C.F.(1999).Gorillas in our midst:Sustained inattentional blindness for dynamic events.Perception,28(9),1059-1074.
[42]Simons,D.J.,& Levin,D.T.(1997).Change blindness.Trends in Cognitive Sciences,1(7),261-267.
[43]Sloutsky,V.M.(2016).Selective attention,diffused attention,and the development of categorization.Cognitive Psychology,91,24-62.
[44]Sutton,R.S.,& Barto,A.G.(1998).Reinforcement learning:An introduction(Vol.1,No.1).MIT Press.
[45]Tenenbaum,J.B.,Kemp,C.,Griffiths,T.L.,& Goodman，N.D.(2011).How to grow a mind:Statistics,structure,and abstraction.Science,331(6022),1279-1285.
[46]Thorndike,E.L.(1911).Individuality.Boston:Houghton Mifflin.
[47]Treisman,A.M.(1960).Contextual cues in selective listening.Quarterly Journal of Experimental Psychology,12(4),242-248.
[48]Treue,S.,& Trujillo,J.C.M.(1999).Feature-based attention influences motion processing gain in macaque visual cortex.Nature,399(6736),575-579.
[49]Vigorito,C.M.,& Barto,A.G.(2010).Intrinsically motivated hierarchical skill learning in structured environments.IEEE Transactions on Autonomous Mental Development,2(2),132-143.
[50]Vul,E.,Hanus,D.,& Kanwisher,N.(2009).Attention as inference:Selection is probabilistic,responses are all-or-none samples.Journal of Experimental Psychology General,138(4),546-560.
[51]Xu,K.,Ba,J.,Kiros,R.,Cho,K.,Courville,A.,Salakhutdinov,R.,et al.(2015).Show,attend and tell:Neural image caption generation with visual attention.arXiv preprint arXiv:1502.03044,2(3),5.
联系客服
