本文由《中国电化教育》杂志授权发布
作者：冯锐、董利亚、李闻
摘要
专题教育社区是依托国家教育资源公共服务平台创建的一个在线专题学习社区，它以学习者为核心，基于社会关系网络以活动为载体促进知识在个体与组织间生成与消费的一种学习共同体，是“互联网+”教育的一种社交型学习形态。自2014年4月建设以来，已经创建了167个有特色的在线专题教育学习社区，社区注册成员15万余人，访问量达到700余万人次等。这些社区在全国各级各类学校、广大师生中具有了广泛的社会影响力，但各社区之间建设水平参差不齐存在差距。该文运用文献研究法、目标分解法、德尔菲法、层次分析法构建了专题教育社区评价指标体系，旨在为专题教育社区建设者提升社区质量，衡量社区水平提供指导依据。该评价指标体系包括5项一级指标，38项二级指标，目前已经得到了专家的论证以及实践的验证。
关键词：专题教育社区；评价指标体系；德尔菲法
专题教育社区是由国家教育资源公共服务平台创建的在线专题学习社区，是推动国家教育资源公共服务平台建设和深度应用的重要工作。在教育部科技司指导下，从2014年4月起中央电化教育馆组织实施了专题教育社区建设工程，已经在国家教育资源公共服务平台上建设了167个专题教育社区，初步形成了一系列有特色的在线社交学习社区。这些专题教育社区在全国各级各类学校、广大师生中具有了广泛的社会影响力。为了确保社区的建设质量，衡量社区的建设水平，推进和强化社区的可持
续发展，需要尽快构建出一套可行的、可实用的专题教育社区的评价指标体系。评价指标体系的建立是一个系统规范的研究过程，它需要全面、系统地分析研究对象，综合分析结果，并对系统进行反复评价，直到实现预定的目标[1]。所以，专题教育社区评价指标体系的构建首先要解决的是方法问题，因为指标体系构建的方法是确保评价指标体系构建过程科学性、规范性的基础。
一、评价指标体系构建路径和方法
专题教育社区的评价指标就是根据专题教育社区的评价目标，围绕专题教育社区的本质特征确定能反映其建设水平和质量的具体评价条目。评价指标体系则是根据评价对象本身的逻辑结构，由不同层级的评价指标构成的一个有机整体。建立一套评价指标体系，必须理清研究的总体思路和脉络，这样研究过程才能明晰、有章可循，具有实际操作性，如图1所示。
(一)确定评价对象，明确评价目标
评估对象是评价的客体，评价目标是对客体进行评价所要达到规定的标准。明确评价对象和评价目标是构建评价指标体系的首要任务，对指标体系和评价方法起决定作用，从而确定评价项目[2]。我们此次的评价对象是167个在线专题教育社区，这些社区是从2014年4月开始在国家教育资源公共服务平台上建设，现在已经注册社区成员达15万余人，根据社区目标要求开展活动2900多个，依据社区活动任务创建了3450个社区小组，创造出资源10万余条和生成文章15万余篇，社区访问量达到700余万人次等。随着这些专题教育社区在全国各级各类学校中的广泛应用，以及精品专题教育社区建设项目的推进，这些专题教育社区将成为获取优质资源，实现优质资源共享，促进师生学习和交流的重要在线支持环境。所以，这些专题教育社区的建设就是为各类学习者构建的一个知识扩散与共享的在线学习环境，并且它能够为学生开展深度学习、适应性学习以及各类实践与研究活动提供各种支持和服务[3]。找准评价对象，明确评价目标是指引评价指标体系构建过程中的重要航标，也是确保整个评估过程不偏离专题教育社区建设内涵的关键环节。因此，对评价目标及评价对象认知越充分，剖析越透彻，初拟的评价指标就会越符合预期，越接近实际。
(二)初建专题教育社区的评价指标体系
评价指标是对评价对象某一方面特性的客观准确反映。初建指标体系既要选择能反映评价对象特性的可测指标，又要初步确立各项可测指标间的相互关系，这是评价指标体系建立过程中一个非常重要的环节。初建评价指标体系时应尽量全面、准确地反映到评估目标的各个方面，并要确保初建的指标之间尽量不重复且指标指向性清晰。我们考虑到专题教育社区特有的属性，以及专题教育社区的实际建设情况，权衡评价指标体系初建的各个方法有优劣，确定采用多种方法相结合来初建专题教育社区评价指标体系。
第一，利用文献研究法梳理和明确了国内外有关虚拟社区评价、虚拟学习社区评价、虚拟学习环境评价、教师在线实践社区COP评价的维度选择主要关注于社区基本情况、社区主题、社区目标和定位、社区活动组织、社区支持服务、社区规范、技术环境、社区资源等方面。我们对这些方面进行分析和综合，抽象出在线学习社区(或虚拟学习共同体)的评价维度选择主要涉及社区基础性评价、社区核心性评价、社区组织性评价、社区管理性评价。
第二，利用文献研究法梳理清楚专题教育社区的建设目标、特点、功能和内容等，并利用目标分解法从专题教育社区的建设总目标出发，按照专题教育社区建设任务的构成进行逐层分解，即将总体目标解读为一系列一级指标，再将一级指标解析为二级指标，从上至下直到分解成可操作的末级指标为止。
第三，利用调查研究法对全国专题教育社区建设与发展进行总体分析与个案分析，总结和归纳专题教育社区建设内涵和经验，从中提炼出专题教育社区建设的关键性因素。
第四，在上述研究成果的基础上，我们利用分析和综合相结合的辩证逻辑思维方法从中抽象和初步构建了专题教育社区评价指标体系的六个评价维度：社区基本情况、社区资源管理、社区教学活动、社区技术支持、社区用户体验、社区培育与发展六个维度。另外，由于专题教育社区自身的特殊性——它在国家平台上建设而成，平台的稳定性、安全性及响应速度等与技术支持相关的要素都是既定的，是专题教育社区创建者或者说管理者无法改变的。因此，本研究在指标体系维度中舍弃了社区技术支持这一维度。然后，根据每一个一级指标的关键影响因素，确立了35个二级指标，如可以从活动评价与反思、角色分工、活动效果、活动融合性等方面去测评社区教学活动所达到的效果。
(三)遴选专题教育社区的评价指标
指标体系的建立是一个逐步优化的过程，初拟的指标体系中可能有一些指标反映的内容重复，若全部使用将过于侧重某一方面，另外指标过多也不利于实际操作[4]。这就需要优化评价指标体系，即对初拟的评价指标进行对比、甄别、筛选、归类和合并。初建专题教育社区的评价指标体系时，一般都尽可能要把建设任务的各个方面覆盖到、涉及到。所以，初拟定的评价指标尽管比较全面，但指标之间肯定相互重叠，级别之间相互交织，重要和不重要指标并存，指标的独立性和指向性比较差。因此，初拟的指标体系必须经过遴选。
指标遴选是一个非常重要的工作，一般要考虑初建指标的重要性程度、各指标间的相关性程度、各指标数据的区分度[5]。综合考虑，我们选用了德尔菲法对指标体系进行修正和遴选。
(四)设定专题教育社区评价指标的权重
指标的权重是被评估对象指标在整体中的相对重要程度以及所占比例大小的量化值。权重赋值对评价结果至关重要。若其中一个因素的权重改变了，会影响最终的评判结果。因此，权重赋值的方法至关重要。
层次分析法是确定权重赋值应用最为广泛且操作性强，比较系统、层次化的分析方法。我们运用层次分析法收集了专家依据经验同级比较两两指标重要性的数据，利用这些数据进行层级分析，最终计算出指标的权重。
(五)确定专题教育社区评价体系的评价标准
评价标准是评价指标体系的重要组成部分，它为评价者判断评价对象是否达到末级指标的程度提供衡量的尺度和准则。评价标准一般由评价内容、标度和标号三个方面构成。评价内容是评价指标达到专题教育社区建设水平和质量要求的各种程度或各种规范化行为的优劣程度。该评价标准对于评价内容采用了定性规定方式，主要通过对评价内容的达成程度或规范化行为的优劣程度进行质的规定性描述。标度是区分评价对象达到评价标准的程度。考虑到该评价指标体系主要是用于专家根据评价标准对社区建设水平和质量的判断。为此我们按照评价内容的优劣程度来确立标度，标度采用了数字表示各个等级，一共划分了6个等级(100、80、60、40、20、0)，等级的级差是20，与此相对应的序号是A、B、C、D、E、F。标号是区分程度的符号，它本身无独立意义，只是评定标准的辅助部分。
二、基于德尔菲法的评价指标遴选
德尔菲法又称专家意见法，本研究通过德尔菲法咨询了多个专家的意见，第一轮调查专家对初步草拟指标体系的意见，对初选的评价指标进行进一步筛选或补充，主要目的是确定指标体系的框架和评价指标；第二轮咨询的主要目的是进一步修正完善评价指标，收集专家对于各项指标重要性及权重设定的建议。经过多次反复操作，逐步使大部分的专家意见趋于一致，以此作为评价指标重要性评判的依据。
(一)第一轮专家咨询问卷
我们选取了27名研究和实践专题教育社区的专家进行咨询问卷调查，这些专家包括创建者、助学者、技术支持者、研究者等。首先进行第一轮专家咨询问卷调查，主要调查专家对初拟的5个维度35个二级指标的个人评判依据、重要性判断、熟悉程度判断等内容。我们利用这些方面的调查数据就可以计算专家意见权威程度和专家协调程度，这是评判指标的科学性、重要性的前提。
1.专家意见权威程度
专家意见权威程度通常是由专家对评价指标的熟悉程度
判断依据由“理论分析”“实践经验”“同行了解”和“专家直觉”四个维度组成，需要专家选择对这四个维度进行判断的影响程度(大、中、小)，并对影响程度进行赋值后计算出
根据第一轮专家咨询表中“专家权威程度自评表”计算出专家意见权威程度系数，结果如表1所示。从统计结果看，
2.专家意见协调程度
专家意见协调程度主要由两个方面表示：专家意见协调系数和各指标评价结果的变异系数。
(1)专家意见协调系数
专家意见协调系数反映全部专家对所有指标的协调程度，通常是进行Kendall协调系数检验，W表示协调系数，用于多列等级变量相关程度的表示。协调系数W一般在0-1之间，越接近1表示专家的协调程度越好，反之越差[8]。第一轮咨询中全部一级指标协调系数W为0.181，协调系数的显著性检验——卡方检验的显著水平Sig值0.002小于0.05；全部二级指标专家协调系数W为0.191，协调系数的卡方检验的显著水平Sig值0.000小于0.05，如下页表2所示。这表明在95%的置信度下，专家评估一级指标和二级指标意见协调性好，结果可取。对于初拟定的一级指标和二级指标，专家意见在第一轮咨询中基本趋于一致。
(2)变异系数
变异系数说明专家对某一指标相对重要性的波动程度或协调程度，变异系数越小表示专家建议的协调程度就越高[9]。变异系数用Vi表示，其计算公式为：
其中，Si表示第i个指标的标准差，
变异系数Vi数值由小到大递增，表示专家对指标重要性的意见分歧递增。变异系数大于0.5时，该指标将被舍去。经过统计分析，第一轮专家咨询问卷中专家对一级指标和二级指标意见的变异系数均在0.5范围之内，所以保留全部指标(各指标变异系数计算结果略)。
另外，在第一轮专家的咨询问卷中，专家们提出了诸多补充意见：建议将一级指标“社区教学活动”修改为“社区教与学活动”，并添加相应二级指标，将原有二级指标“社区主题”改为“社区名称”；“交互方式多样性”改为“成员交互”，“用户操作便捷程度”改为“用户使用便捷性”；增加3项二级指标：资源的便捷性、社区粘度、移动社区服务。
(二)第二轮专家咨询问卷
我们结合专家的补充意见和统计结果，在初拟指标的基础上进行了科学的论证，补充、筛选和修改相应的一级指标、二级指标，再次形成重要性和可行性的第二轮专家咨询问卷，并进行第二轮专家咨询问卷调查。第二轮问卷主要调查补充和修改后一级指标、二级指标的专家协调程度。为保持专家咨询的权威连贯性，我们选取了第一轮中回复有效咨询表的24位专家发放问卷，回收了21份有效问卷，有效回收率为87.5%。第二轮统计的专家意见协调系数如表3所示。统计数据表明：专家评估一级指标和二级指标的意见协调性已经高度趋于一致。
第二轮问卷统计的变异系数如表4所示，从各指标变异系数结果分析可得出：5个一级指标的专家的变异系数已经小于0.15，这说明专家意见的分歧非常小，意见的协调程度很高。38个二级指标中，只有个人空间(0.28)、成员平等性(0.25)和成员信任度(0.26)的变异系数均大于0.25，说明专家对这三项指标还存在一定偏歧，其他指标的变异系数均低于0.25。但考虑到所有二级指标的变异系数都低于0.5，综合考虑我们仍将保留这三项指标。
(三)第三轮专家咨询问卷
第三轮专家咨询问卷选取了同样的21位专家发放问卷，同第二轮一样再次调查了专家意见的集中程度、协调程度。第三轮回收有效专家咨询问卷20份，统计结果表明，一级指标和二级指标的专家意见协调性高度一致，各指标变异系数均低于0.2，表明专家对这些几乎不再有分歧。最终我们确立了专题教育社区评价体系的5个一级指标，38个二级指标(具体指标体系略)。第三轮专家咨询问卷运用层次分析法重点调查了专家对5个一级指标、38个二级指标同级重要性的两两判断，专家的同级指标的两两判断数据是确立专题教育社区指标体系权重的科学依据。
三、基于层次分析法设定评价指标的权重
20世纪70年代，萨蒂(T.L.Saaty)教授首次提出了层次分析法(Analytic Hierarchy Process，简称AHP)[11]。它是将评价对象视为一个系统，从系统视角对指标之间的相互关联度及隶属关系按不同层次结构进行矩阵分析，这种方法既有专家依据经验对指标重要性的定性分析，也有数据逻辑运算和统计的定量分析。
层次分析法的基本步骤为：(1)构造递阶层次结构；(2)建立判断矩阵；(3)计算被比较元素的相对权重；(4)单层次一致性检验；(5)计算二级指标相对于总目标的组合权重[12]。如图2所示。
(一)构造递阶层次结构
我们利用德尔菲法进行了三轮专家咨询问卷，确立了专题教育社区的评价指标：一级指标5个，二级指标38个。这些指标的相互关联及隶属关系如图3所示。
(二)建立判断矩阵
专家将对同属一个层次的指标进行两两比较，比较时要求按照如表5所示的评分标度给出它们相对重要性的判断值。当同一层级中的指标经过两两比较后，会生成一个判断矩阵A=(aij)n×n。
经过两两判定后，专家就依据评分标度选择出重要性判断值，这样每一位专家根据一级指标和二级指标就会生成六个判断矩阵。某位专家对一级指标评判后形成的判断矩阵如表6所示。
本轮层次分析法邀请了有效参与第二轮德尔菲法问卷的21位专家进行矩阵赋值，回收有效问卷20份。对这20份有效问卷的一级指标、二级指标根据专家的赋值经过两两判定后，总共得到120个判断矩阵。
(三)计算单层次被比较元素的相对权重
首先将上述表6这位专家评分的正互反矩阵进行化简，计算判断矩阵每一行元素的积，进行归一化处理，计算指标权重。我们按照上述方法，对上述这位专家二级指标的5个判断矩阵进行计算，就会得到这位专家二级指标判断矩阵的权重系数值，如表7所示。
我们按照上述计算步骤分别对其他19位专家的判断矩阵的一级指标、二级指标的权重系数值进行计算(计算数值略)。
(四)单层次一致性检验
单层次一致性检验也称层次单排序(权重计算)及判断矩阵的一致性检验。因为，对于nxn正互反矩阵A=(aij)n×n，可以证明当且仅当A的主特征值λMax=n时，A是一致矩阵。但在实际中做到构建的矩阵完全一致是无法做到。因此，在计算λMax时，对于各专家的评价在逻辑上是否一致，需对判断矩阵进行一致性检验。为此我们建立了一致性检验指标C.I.和R.I.，用以判断矩阵偏离程度。将判断矩阵的一致性指标C.I.与平均随机一致性标准值R.I.[15]进行比值，求得随机一致性比率C.R.。当n=5时，R.I.的值为1.12，即
当C.R.<0.1时，一般认为该判断矩阵具有合格的一致性；当c.r.>0.1时，则认为该判断矩阵一致程度无法接受，则应该修正判断矩阵判断值，直到满足一致性检验条件。根据上述计算可得，C.R.<>
运用上述方法步骤，我们对20位专家打分的120个判断矩阵，用层次分析法进行单层次权重和单层次一致性检验时，发现在20位专家标度的120个判断矩阵中，有8个矩阵未通过单层次一致性检验。当判断矩阵不符合一致性要求时，需要对不合格要求的判断矩阵进行修正，调整判断矩阵的元素取值。为了确保一致性要求，我们又请对应专家对这8个矩阵再做一次判断，重新统计比较的矩阵结果，并再次对这8个矩阵的一致性进行检验。最终依据20位专家对5个一级指标和38个二级指标重要性赋值情况，经过构造矩阵计算出一级指标权重和二级指标相对于一级指标的单层次权重系数，并进行单层次一致性检验，结果显示单层次一致性C.R.<>
20位专家参与决策，从而同一项指标会获得多个判断矩阵。对于这些判断矩阵的处理一般有两种方案：一是将n个判断矩阵进行集结，然后再计算权重；二是将n个判断矩阵的求权结果进行加权平均。对于方案一，集结可能会严重影响合成后的判断矩阵的一致性，操作较为复杂；而方案二则不存在这一问题，同时也能极大保留各专家的原始意见[16-18]。因此，本研究中我们采取方案二进行群组决策，并得出最终的各因素权重(权重数值略)。
(五)计算二级指标相对于总目标的组合权重
为了得到二级指标相对于总目标的权重，需要把上述步骤中的权重进行适当的计算组合，其值等于各项二级指标的权重与它所属的一级指标的权重的乘积[19]，即
按照此方法，我们计算出专题教育社区评价二级指标相对于总目标的权重，如表8所示。
随后一个环节是确定每一个二级指标的评价标准，我们从评价内容、标度和标号三个方面完成了每个二级指标的评价标准，前面专题教育社区评价指标体系构建路径部分已经对此做过详细诠释，这里不再赘述。
四、结语
专题教育社区评价指标体系制定出来以后，我们分别选取了《平安校园文化》《炎陵中小学科教研基地》和《预言家创新能力训练》三个社区进行试测，这三个社区分别代表着社区建设水平。邀请专家分别进入所选的专题教育社区进行体验与调查，然后根据评价指标体系的评分标准进行评价与评分，最后的专家评价结果是：《平安校园文化》社区是90.74；《炎陵中小学科教研基地》社区是83.56；《预言家创新能力训练》社区是64.96。这个试测结果客观真实的反映了这三个社区的建设质量。
本研究评价指标的筛选和指标权重的确定虽然严格遵循德尔菲法和层次分析法的原则和步骤实施，且结果符合统计学的要求，但也不能完全排除主、客观及其他因素的影响。为了减小专家在评价中的主观性，确保评价行为更为客观、科学，我们建议使用评价指标对专题教育社区进行评价时，参评同一社区的专家至少三人或三人以上，结果取其平均值，这样可以降低一个专家对社区评价结果的主观差异性，使评价结果更加客观、科学、合理，符合实际情况。当然，专题教育社区评价指标体系是一个不断调整和完善的过程，随着理论研究与实践探索的逐步发展，评价指标体系将会更加优化。
本文受教育部在线教育研究中心2016年度在线教育研究基金重点项目“在线专题教育社区评价体系的构建”(项目编号：2016ZD313)资助。
作者简介：冯锐：博士，教授，硕士生导师，研究方向为教学设计、教育信息化、学习技术。董利亚：硕士，中学二级，研究方向为网络教育应用、学习评价、信息化教学设计。李闻：在读硕士，研究方向为信息化教学设计、数字化教学资源的设计与开发、新媒体的教育应用。
联系客服
