本文由《中国电化教育》授权发布
作者:卢宇 章志 王德亮 陈鹏鹤 余胜泉
随着人工智能技术的快速发展,以深度学习为代表的复杂人工智能模型开始被逐步应用于各类智能教学系统和平台。然而,这类复杂人工智能模型通常需要从海量数据中学习隐含特征与规律,导致其决策过程的不透明性,通常难以向用户提供清晰且易理解的解释,进而容易引起用户的不信任,也可能带来不易察觉的错误隐患。该研究首先介绍了当前可解释人工智能技术及其基本方法,并以学习者模型的解释作为教育领域的典型案例。在此基础上,研究梳理和提出了可解释人工智能在微观、中观和宏观三个层面的教育应用模式,即检验教育模型、辅助理解系统与支持教育决策。最后,该研究对可解释人工智能在教育中的应用提出了具体建议和展望。
关键词:人工智能教育应用;可解释人工智能;学习者模型;深度学习;智能导学系统
1
引言
2017年国务院出台《新一代人工智能发展规划》,明确提出利用人工智能等新一代信息技术构建智能学习与交互式学习的新型教育体系[1]。人工智能技术开始逐步被应用到各类智能教学系统与平台中,也逐步渗透到线上与线下多种典型教育场景中。由于教育场景与教学主体本身的多样性与复杂性,人工智能教育应用通常需要基于大规模、长周期与多模态的教育数据,开展深入分析并构建精准模型。然而,传统的统计分析与建模方法,已很难处理和胜任这类任务。随着人工智能技术的快速演进和发展,以深度神经网络为代表的人工智能模型在计算机视觉、自然语言处理等领域均展现出明显优于传统模型的性能。这类内部网络结构复杂的人工智能模型通常在高维数据空间上具备良好的信息表征与隐含特征提取能力,因此也逐渐成为人们研发各类智能教育系统与应用的首选。
然而,在性能提升的同时,这类人工智能模型由于其内部结构与决策过程的复杂性与不透明性,通常难以提供清晰且易理解的说明和依据。换言之,模型的使用者甚至构建者只能看到模型输出的结果,但难以理解模型运行的基本逻辑。这种“黑箱”性质使得模型的输出结果易受到质疑,并可能带来不可控的安全隐患与非故意偏见,进而引起用户对模型所在系统或平台决策和服务的不信任。例如在医疗领域,缺乏可解释性的自动辅助诊断人工智能模型及系统,难以得到患者和医生的足够信任,导致了其目前仍没有在医院大规模推广和应用。在教育领域,复杂人工智能模型决策过程的不透明性,可能出现不易被察觉的连续错误输出,导致其不合理的决策结果(例如错误推荐学习路径或教学资源),从而误导学习者并严重影响其学习效果和效率。另外,即使是决策正确的复杂人工智能模型,由于其不透明的运行过程,容易直接引发普通学习者、教师甚至智能教学系统和平台设计者的不信任感,从而极大影响其一线实践和应用。这也是人工智能模型,尤其是基于深度神经网络的各类智能教学系统与平台,尚没有被大规模应用的重要原因之一。
近年来,学术界和工业界也开始重点关注如何提升复杂人工智能模型及其所属系统的透明性,建立用户与模型之间的信任关系,以促进实际部署。这一领域也被称为可解释人工智能(Explainable Artificial Intelligence)。具体而言,可解释人工智能聚焦于人工智能模型的可解释性。可解释性代表模型向人类解释或呈现可理解的术语的能力,是人类与模型决策之间的接口。它既能够被人们理解,也可以准确的协助代理决策模型[2]。目前,可解释人工智能尚没有完全统一的概念和标准,但所提出的技术方法已经在医学、生物等领域取得良好的应用表现[3]。
与其它领域相比,教育领域也亟需可解释人工智能技术。当前各类智能教育系统和平台,逐步开始采用基于深度学习等技术的学习者模型、推荐模型以及自动批阅模型等,这些复杂人工模型通常直接决定了系统和平台的智能性与服务质量。同时,复杂人工智能模型也开始被应用于大规模教育数据的分析与挖掘中。由于这些模型的设计主要源于自然语言处理、商品推荐等领域,并未过多考虑教育领域应用的实际特点[4],因此可能做出不符合教育规律和常识的错误决策,并且这些结果不易被察觉和发现(例如错误估计学习者的学习状态或持续推荐不必要的学习资源)。另外,教育领域的普通教师和学习者通常不具备技术背景和知识,当复杂人工智能模型做出负面但正确的决策时(例如判断学习者知识点掌握薄弱或教师教学存在问题),也容易引起这些使用者的直接质疑和不信任,且难以向其进行解释和直接说明[5]。
2
可解释人工智能的基本方法
在可解释人工智能领域,研究者们将人工智能模型的可解释性分为事前(Ante-hoc)可解释性与事后(Post-hoc)可解释性。具备事前可解释性的模型通常结构直观清晰,用户能够通过检查模型的组件(如线性回归模型中的特征权重、决策树中的路径、注意力权重矩阵)理解其决策过程、工作机制,这类模型因此也被称为白盒模型。具备事后可解释性的模型通常结构复杂,模型的输入与输出是非线性关联的,其决策过程、工作机制无法被用户直接理解。例如以循环神经网络为代表的深度神经网络模型等,这类模型因此也被称为黑盒模型。
可解释人工智能技术是能够对人工智能模型进行解释的技术方法,也被称为解释方法。针对事后可解释性,现有的解释方法可分为全局(Global)解释方法与局部(Local)解释方法两类。全局解释方法旨在理解所建立的复杂机器学习模型的整体决策逻辑,包括该模型通过大量数据训练后学到的规则、模型开展决策的方式等。知识提取、激活最大化等都是较为典型的全局解释方法[6]。然而在实际应用中,由于模型结构或算法的复杂性以及垂直领域应用场景的多元性,对大多数复杂的机器学习模型提供全局解释通常比较困难。与全局解释方法不同,局部解释方法专注于阐释机器学习模型对每一个输入样本的决策依据[7]。具体而言,该类方法以模型当前的输入数据为基础和导向,分析和量化输入数据各维度特征对最终决策结果的贡献,从而实现对模型的解释。常见的局部解释方法包括局部近似、反向传播和特征反演等[8]。与全局解释方法相比,局部解释方法的研究和实际应用更加深入和广泛。例如,在局部解释方法中,反向传播解释方法可以充分利用需要被解释的模型结构特性,实现较为简单且计算效率较高。反向传播解释方法的基本思想是利用深度神经网络的反向传播机制,将机器学习模型的决策信号从输出层逐层通过神经元反向传播回模型的输入层,并进而推导当前输入各维度特征的重要性。另外,依据适用范围的不同,解释方法也可以被分为模型相关(Model-specific)解释方法和模型无关(Model-agnostic)解释方法[9]。模型相关解释方法需要利用模型结构中的信息(如神经网络中的局部梯度信息)才能对模型进行解释,只能用于某类特定的人工智能模型。模型无关解释方法不依赖于模型结构中的信息,并能够对任何人工智能模型进行解释。
在教育领域,通常需要依据复杂模型或系统的特点,采取合适的可解释人工智能技术对其进行解释。当模型具备事前可解释性时,通常可以采用自解释[10]等方式。否则,需要选取和采用事后解释方法,对模型或系统进行分析和阐释。
3
可解释人工智能的典型教育应用案例
4
可解释人工智能在教育中的三种应用模式
基于可解释人工智能技术,可以将复杂人工智能模型的各个输入项对模型预测结果的影响进行量化,从而实现对模型和所在系统的解释。在此基础上,对解释结果进行进一步分析,可以验证所构建模型是否存在与教育规律相悖的问题。如果存在,可以及时检查训练数据和训练方法,必要时调整模型本身。如果模型得到验证,可以利用分析结果对模型进行功能阐述与说明,从而提高用户对模型和系统的理解与信任程度。充分合理的解释说明,还可以进一步支持教师进行教学策略的选择和相关教育管理者的决策。
因此,我们梳理并形成了可解释人工智能在教育中的三种典型应用模式。如图4所示,现有可解释人工智能的技术方法(包括全局解释方法与局部解释方法)可以直接用于典型教育场景中(涵盖了线上与线下教育)的各类人工智能模型(包括黑盒模型或白盒模型)。解释模型所产生的结果,可以服务于不同的受益对象,从而形成了不同的教育应用模式。总体而言,应用模式可以分为微观、中观和宏观三个层面:(1)在微观层面,解释结果能够针对模型本身进行分析,解释模型的重要逻辑,从而帮助对模型本身进行检验和改进;(2)在中观层面,解释结果能够对已验证模型所在系统的规则进行阐述和说明,从而辅助相关用户(包括教师和学习者)的理解,提高其对模型与相应系统的信任程度;(3)在宏观层面,解释结果可以对教育问题进行发现,从而帮助和支持教育管理者进行有效决策。
参考文献:
[1] 国务院.国务院关于印发新一代人工智能发展规划的通知[EB/OL].http://www.gov.cn/zhengce/content/2017-07/20/content_5211996.htm,2017-07-20.
[2] Li H.Deep Learning for Natural Language Processing:Advantages and Challenges [J].National Science Review,2017,5(1):24-26.
[3] 孔祥维,唐鑫泽等.人工智能决策可解释性的研究综述[J].系统工程理论与实践,2021,41(2):524-536.
[4] 肖睿,肖海明等.人工智能与教育变革:前景、困难和策略[J].中国电化教育,2020,(4):75-86.
[5] 刘桐,顾小清.走向可解释性:打开教育中人工智能的“黑盒”[J].中国电化教育,2022,(5):82-90.
[6][8] 纪守领,李进锋等.机器学习模型可解释性方法、应用与安全研究综述[J].计算机研究与发展,2019,56(10):2071-2096.
[7] Hall M.,Harborne D.,et al.A Systematic Method to Understand Requirements for Explainable AI (XAI) Systems [A].Proceedings of the IJCAI Workshop on Explainable Artificial Intelligence [C].Macau:International Joint Conferences on Artificial Intelligence,2019.21-27.
[9] Adadi A.,Berrada M.Peeking Inside the Black-Box:A Survey on Explainable Artificial Intelligence (XAI) [J].IEEE Access,2018,6:52138-52160.
[10][21] Conati C.,Barral O.,et al.Toward Personalized XAI:A Case Study in Intelligent Tutoring Systems [J].Artificial Intelligence,2021,298(9):1-15.
[11] Lu Y.,Wang D.,et al.Towards Interpretable Deep Learning Models for Knowledge Tracing [A].Proceeding of International Conference on Artificial Intelligence in Education [C].Cham:Springer,2020.185-190.
[12] Lu Y.,Wang D.,et al.Does Large Dataset Matter?An Evaluation on the Interpreting Method for Knowledge Tracing [A].Proceedings of the 29th International Conference on Computers in Education [C].Taiwan:Asia-Pacific Society for Computers in Education,2021.63-68.
[13] 卢宇,王德亮等.智能导学系统中的知识追踪建模综述[J].现代教育技术,2021,31(11):87-95.
[14] Feng M.,Heffernan N.,et al.Addressing the Assessment Challenge with an Online System that Tutors as It Assesses [J].User Modeling and User-Adapted Interaction,2009,19(3):243-266.
[15] Rai A.Explainable AI:From Black Box to Glass Box [J].Journal of the Academy of Marketing Science,2020,48(1):137-141.
[16] 王萍,田小勇等.可解释教育人工智能研究:系统框架、应用价值与案例分析[J].远程教育杂志,2021,39(6):20-29.
[17] Schramowski P.,Stammer W.,et al.Making Deep Neural Networks Right for the Right Scientific Reasons by Interacting with their Explanations [J].Nature Machine Intelligence,2020,2(8):476-486.
[18] Yang C.,Rangarajan A.,et al.Global Model Interpretation via Recursive Partitioning [A].20th International Conference on High Performance Computing and Communications [C].Exeter:IEEE,2018.1563-1570.
[19] Beck J..Difficulties in Inferring Student Knowledge from Observations (and why you should care) [A].Educational Data Mining:Supplementary Proceedings of the 13th International Conference of Artificial Intelligence in Education [C].Los Angeles:IOS Press,2007.21-30.
[20] Staggers N.,Norcio A.F.Mental Models:Concepts for Human-Computer Interaction Research [J].International Journal of Man-Machine Studies,1993,38(4):587-605.
[22] Kirill Y.,Bek K.,et al.Application of Machine Learning Black Boxes Explainers in the Development of a Recommendatory System for Improving the Quality of School Education [A].Proceeding of the 17th International Scientific Conference on Information Technologies and Management [C].Riga:ISMA University of Applied Sciences,2019.60-63.
[23] Ledeboer T.S.Interpretable Student Performance Prediction [D].Netherland:Eindhoven University of Technology,2019.
[24] 胡钦太,伍文燕等.深度学习支持下多模态学习行为可解释性分析研究[J].电化教育研究,2021,42(11):77-83.
卢宇:副教授,博士,博士生导师,研究方向为人工智能技术及其教育应用。
章志:在读硕士,研究方向为学习者模型及其解释方法。
王德亮:在读硕士,研究方向为学习者模型及其解释方法。
陈鹏鹤:讲师,博士,硕士生导师,研究方向为人工智能技术及其教育应用。
余胜泉:教授,博士,博士生导师,研究方向为人工智能教育应用、移动教育与泛在学习、区域性教育信息化、信息技术与课程整合。
联系客服