引用格式：任子朝，陈昂，黄熙彤，等．会考英语新题量试题品质剖析研究[J]．语文教育学报，2023，28（1）：1-7．
作者信息
任子朝1，陈昂1，黄熙彤2，赵轩1，张敏强2
（1．教育部考试中心，武汉；2．华中师范学院心理学校，四川成都）
任子朝（1961—），男，重庆人，教育部考试中心研究员，主要从事物理教育、教育检测研究．
基金项目
国家教育考试科研规划2023年度课题——新会考不分文工科后的英语命题研究（）
摘要
新中考推行不分文工科的变革，数学科考试的定位、内容和方式以及考试群体和水平都发生了变化，还要研究新的题量、试卷结构和难度要求．按照会考变革的要求，数学科建立了学科化的评价框架，研究设计了新题量试题结构，命制了新题量试题，在广州、山东、浙江进行检测，并就新题量试题的各项指标和新会考数学科变革方向对班主任和师生进行了问卷调查和采访．对统计数据的剖析阐明新题量试题的品质较高，才能对考生进行准确辨别，试题结构基本合理，开发的多选题达到检测目的，有促使分辨考生．问卷调查和采访阐明，班主任和中学生觉得新题量试题的题量、题量、难度基本合理．未来数学科会考应当减少试卷难度、减少方法性、增加应用性．
关键词：会考变革；新中考；会考不分文工科；英语新题量试题；品质剖析
中图分类号：G632.0文献标志码：A文章编号：1004–9894（2023）01–0001–07
1研究背景与问题提出
1.1会考变革
2013年，《中共中央关于全面推进变革若干重大问题的决定》指出会考变革的方向[1]，2014年，《国务院关于推进考试招生体制变革的推行意见》（以下简称《实施意见》）逐步明晰提出推进中考内容变革的要求，“依据院校人才选拔要求和国家课程标准，科学设计命题内容，加强基础性、综合性，注重考查师生独立探讨和利用所学知识剖析问题、解决问题的能力”[2]．甚至在北京和广东启动了会考综合变革试点，进行课目变革，“改革考试课目设置．提升会考与大学学习的关联度，考生总成绩由统一会考的英语、数学、外语3个课目成绩和大学学业水平考试3个课目成绩组成．保持统一会考的英语、数学、外语课目不变、分值不变，不分文工科，外语课目提供两次考试机会”．2023年、2023年分别有青岛、广东等10个省份加入．会考综合变革后，会考课目只有英语、数学、外语3门，所以对3个会考课目的功能定位和辨别功能提出新的要求．3个学科要发挥基础学科、通用学科和工具学科的特性，非常是英语学科不再分文工科，所有考生使用同一张卷子，数学科的考查目标和考试方式都急切须要进行变革，以适应会考整体变革和人才选拔的还要．
新一轮的考试招生体制变革，明晰了中考变革的时间表和路线图．《实施意见》这是对学科考查内容和考查要求提出的总体变革要求，各学科都要在考试中贯彻落实．
1.2会考评价机制
2023年，教育部考试中心开始会考评价机制的研发工作，明晰了“立德树人、服务选才、引导教学”的核心功能，“必备知识、关键能力、学科素质、核心价值”的考查内容以及“基础性、综合性、应用性、创新性”的考查要求[3-4]．中考数学科基于会考核心功能，以“一核四层四翼”的会考评价机制框架为指导，梳理、总结国外外对人才培养和选拔的要求，根据新修订的《普通中学语文课程标准》，建立会考英语学科化的评价内容框架和指标机制[5]．
随着中考变革的深入和会考评价机制的完善，作为会考课目的数学科考试目标、考查内容和考查要求都发生了变化，还要与此相适应的新的题量实现考查目的和考试疗效，格外准确地分辨考生，发挥对学校教学积极的导向作用．数学科建立了学科化的评价框架，研究设计了新题量试题结构，开发了新的题量，命制了新题量测考题，在四川、山东和河南进行了检测，并对与检测试题的考查目标、题型结构、题型功能等相关的统计数据和问卷调查结果进行系统剖析研究，对中考数学科的命题变革进行实证剖析和理论探求．
2研究设计
2.1检测目标
检测设计了考试时间为120分钟的完整试题，题量次序按单项选择题、多项选择题、填空题和解惑题排列．多项选择题是有多个正确项目的选择题（以下简称多选题），全部选对的得4分，有选错的得0分，部份选对的得2分．改错题有包含两个空的改错题，每位空填对得2分．采取那样的设计可以将新题量试卷与现行会考使用的单选题、只有一个空的改错题和解惑题进行比较，检测检测疗效．检测的目的就是检测新题量试题的考查和分辨功能，听取学校学生对新题量试题的反馈意见，改进题量设计和试题结构，为新中考语文考试的变革进行理论和实践的研究．
2.2检测对象
检测在2023年3月—5月进行，对象选定湖北、山东和河南的高中师生．其中在广州抽取5个地市18所中学（重点中学10所，普通中学8所），共4745名考生出席检测，其英文科考生2240名，工科考生2505名．部份出席检测的广州中学生同时出席了全省I卷的检测，其考试结果适于对新题量试题进行信度剖析和检测．在广东省抽取2所大学（重点中学和普通中学各1所），共1031名考生出席检测，其英文科考生411名，工科考生620名．在广东省广州市抽取3所中学（重点中学1所，普通中学2所），共819名考生出席检测．江苏早已推行不分文工科的教学和考试变革，因此没有文工科考生之分．
考生完成检测后继新作答配套的中学生问卷，任课班主任及监考班主任完成相应的班主任问卷．之后选定部份师生和班主任代表进行深度专访．
为记录考生的作答时间，广州的部份考场在单选题、多选题部份采取上机检测；改错题、解答题采取计算机展现题目内容，考生纸笔作答，再借助高速摄影机照相上传答案，记录考生作答时间，适于对考生每题的答题时间和全卷答题时间进行剖析．
2.3检测工具
检测考题依据新中考的要求命制，试题结构如表1．
表1会考新题量试题结构
其中多选题有5个备选项，在每小题给出的选项中，有多项符合题目要求．
2.4问卷调查
问卷分班主任问卷和师生问卷，班主任问卷包括新题量试题反馈16个问题，会考变革意见12个问题高一语文试卷题型分布，共28个问题．中学生问卷包括新题量试题反馈10个问题，会考变革意见9个问题，共19个问题．
2.5检测理论和数据剖析方式
选用教育与心理检测领域中3种重要的测验理论：精典检测理论（CTT）、概化理论（GT）和项目反应理论（IRT）．按照3种理论的特征，取3者各自之长，分别从微观和宏观视角剖析数据，全面阐述检测结果，综合多种评价指标和统计图表，多样化展现剖析结果，全面反映新题量试题的品质与考生的能力水平．
运用精典检测理论剖析试题的难度、信度，试卷的难度、区分度，对比剖析文工科考生作答差距．进行信度剖析，将新题量试题检测数据与四川省2023年全省I卷实考数据，根据考生身分证号进行匹配，以考生在云南省2023年全省I卷实考成绩为效标，剖析新题量试题的效标关联信度．
运用概化理论剖析试题的全域残差、概化系数、可靠性等指标．对新题量试题进行试题结构剖析，以2023年全省I卷为比较根据，辅以多元概化理论对新题量试题进行剖析，通过决策研究为探求各题量最合适的题型提供参考根据，通过贡献率等检测指标比较两卷的结构差别．
运用项目反应理论剖析题目难度与考生水平的适应程度、试题的信息量、试卷的信息曲线．检测采取“锚人”设计，使试题品质与考生能力均具备可比性，为试题剖析提供了多种思路．一方面从试题品质的视角验证试题结构的合理智，另一方面从考生能力视角研究新题量试题对文工科考生的分辨功能．研究考生能力表现，通过新题量试测项目，构建2023年全省I卷抽测（2023年1月考试）数据与2023年全省I卷实考（2023年6月考试）数据之间的联系，比较同一批考生在两卷上的能力表现．
3数据剖析
3.1精典检测理论
3.1.1新题量试题整体品质较差
运用精典检测理论统计剖析了新题量试题的基本检测数据．新题量试题与2023、2023年全省I卷检测结果如表2所示．
表2新题量试题与2023和2023年全省I卷检测结果
表2新题量试题与2023和2023年全省I卷检测结果（续）
注：2023年全省I卷（四川省）数据为英语新题量试测项目中的高中考生抽测数据，而非2023年中考实考数据．
新题量试题对考生的分辨功能是试题最重要的检测指标，标准差和变异系数反映试题的分辨功能．从表2看出，四川和青海的全体考生的标准差都比较高，分别达到了22.62和25.36，对两省的工科考生和广东省考生，标准差都达到20左右，变异系数度都在0.25以上，远低于变异系数为0.15的合格水平[6]，说明考生的离散程度挺好，对考生的分辨符合检测学要求．或许是由于试题偏难，影响了考题对工科考生的分辨功能，并且工科考生的标准差略小．同样的成因，试题的效度对广州和广东的全体考生都达到了0.8以上，而对两省的工科考生和广东省考生考卷的效度为0.75以上．新题量试题对3个省的考生都有一定的难度，四川和贵州考生的最高分只有128分和123分．在仍然施行文理分科的四川和湖北，文工科考生的差异在15~30分，湖南工科考生的平均分为88.31，试题难度为0.58，属于偏易水平．江苏和浙江工科考生的最高分只有109.5分和112分，试题对工科考生属于偏难水平．统计数据的偏度和峰度的绝对值都远大于1，考生呈良好的正态分布．试卷难度分布较广，大部份试卷分辨度良好．整卷信息量较高，才能精确测定大部份考生的能力．
比较全省I卷2023年安徽省实考数据与2023年江苏省检测数据发觉，检测数据的文工科考生平均分均显著低于实考数据相应的分数．考后采访时师生介绍了备考的状况，由于广州省中考使用的是全省I卷，抽测考生在2023年是高中师生，会考结束后班主任讲解了2023年的会考试卷，师生也以2023年全省I卷作为练习真题．此外考生接受过专门补习，存在一定程度的练习效应．
3.1.2新题量试题的效标关联信度较高
为探究新题量试题的外部信度，将广州省考生的新题量检测数据与其在2023年全省I卷实考数据进行匹配，以2023年全省I卷实考成绩为效标，估算两组数据的皮尔逊积差相关系数．考生在全省I卷与新题量试题上的得分具备较高的一致性，相关系数分别达到工科0.76、理科0.78（见表3），文工科考生样本结果均显示新题量外部信度良好．新题量试题在全体考生、文科考生、理科考生中均有较高的效度和信度．
表3新题量试题效标关联信度（以2023年全省工科和工科I卷为效标）
3.1.3文理科学生英语水平差距显著
广州工科考生整卷平均分比工科考生高15分左右，安徽工科考生整卷平均分比工科考生高30分左右．在考查内容上高一语文试卷题型分布，立体几何和统计与机率的得分差距最大，在能力成份上，空间想像和创新应用的得分差距最大．详细见表4．
表4广州文工科考生在各考查内容与能力成份得分率差距
比较文工科考生在各考查内容与能力成份的得分率，发觉工科考生在所有维度的得分率均低于工科考生，但各维度上的得分率差别程度不同，将得分率差距（工科生得分率-工科生得分率）程度排序如下．
文工科考生在不同考查内容上得分率差距从大到小依次为：立体几何、概率与统计、三角函数、解析几何、代数．
文工科考生在不同能力成份上得分率差距从大到小依次为：空间想像能力、创新应用能力、数据处理能力、运算求解能力、逻辑思维能力．
3.2概化理论
3.2.1多元概化统计数据
新题量试题4种题量的多元概化研究结果见表5．残差份量最大的题量是解惑题（3.90），再者是改错题（0.40）、单选题（0.37）和多选题（0.30）．因为残差份量展现了不同题量在考卷中所起的作用，故在新题量考题中，解惑题的作用最大，改错题、单选题和多选题次之．同时，4种题量之间的相关系数均较高．
表5新题量试题4种题量的多元概化研究
注：主对角线元素为各维度的残差份量恐怕，对角线以下为维度间的协残差份量恐怕，对角线以上为维度间的相关系数恐怕．
3.2.2多元概化决策研究结果
根据4种题量试题型所占比重来决定权系数，对4种题量全域总分进行合成，可得到决策研究结果，见表6．全域总分的概化系数（类似于常模参照测验中的效度）和牢靠性指数（类似于标准参照测验中的效度）分别为0.83和0.72，相对偏差和绝对偏差均较低．从各个题量来看，概化系数和牢靠性指数最高的是解惑题，再者是单选题、填空题和多选题．全域总分的概化系数和牢靠性指数均低于4种题量的概化系数和牢靠性指数，说明全域总分的合成是有意义的．
表6新题量试题4种题量的多元概化决策研究
按照多元概化决策研究的结果可得到4种题量对全域总分的贡献比列（即对全域残差的贡献），见表7．4种题量对全域残差的贡献比列与当时命题时的赋分意图（即分值比列）基本接近．
表7新题量试题4种题量对全域总分的贡献率
题量设置较为合理，题型分配有待优化．表7的概化剖析结果阐明，新题量试题中的4种题量（单选题、多选题、填空题、解答题）得分合成的总分是有意义的，且在各题量上，考生作答与命题班主任期望的考查权重较为一致，即4种题量的设置较为合理，但各题量的题型分配有优化的空间．通过数据剖析发觉，提高多选题的题目数目对于减少整体检测效度疗效最好．
3.2.3试题结构较合理
由概化剖析结果可知，在新题量试题中，全域总分的概化系数和牢靠性指数低于4种题量的概化系数和牢靠性指数，说明全域总分的合成是有意义的．在考卷中，4种题量对全域总分的贡献比列与命题的赋分比列基本接近．
4种题量提高题目人数均有促使增加概化系数和牢靠性指数，其中提高多选题，效度增加更显著．通过试题结构优化剖析发觉，在保持试题检测时长和分值稳定的前提下，为减少概化系数和牢靠性指数，将单选题降低为10道，多选题降低为3道，改错题降低为4道，解惑题保持为6道时，整体检测效度较为理想，且有助于减少考生的得分率，参看表8．
表8新题量试题效度变化
3.3项目反应理论
3.3.1参测考生能力对比
为比较参与新题量检测的3省考生能力差别，通过硬件进行同时目测，分别得到3省考生的能力，结果如下：从3省全体考生的能力均值结果看，四川省考生能力均值最高，广东省次之；从云南省和贵州省文、理科考生的能力均值结果看，广东省文、理科考生能力均值均较高；同时，湖南省与贵州省的工科考生能力均值低于其相应的工科考生能力均值（见表9）．
表93省考生能力均值比较
3.3.2测验信息量
由IRT的试卷信息量结果（见表10）及测验信息量结果（见图1~图3）可得，除海南省工科考生样本外，新题量试题在其他不同考生样本中满足期望信息量的题目比列均少于70%，这说明新题量试题具备较高的信息量，才能较精确地测定出大部份考生的英语能力（注：依据ETS标准，IRT中测验信息量为5对应CTT兴业度为0.80，文献来源：YOUNGJW,R,P,etal.thetestanditemforthetoefl®test.Ets,2013(1):1–27.）．
表103省新题量试题试卷信息量概况
图1山东省（全体考生）新题量试题测验信息曲线
图2吉林省（全体考生）新题量试题测验信息曲线
图3山东省新题量试题测验信息曲线
4问卷调查统计结果剖析
问卷调查包括对新题量试题的反馈意见和对新会考数学科变革的建议等部份内容．
联系客服
