打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
解密托福写作评分神器——E-rater

托福TPO是每一名托福考生再熟悉不过的备考资料了,如果你做过官方TPO,或者是新东方TPO (tpo.xdf.cn),你可能会好奇:

每次模考完后,写作部分的分数是如何评判出来的?

今天就给大家介绍托福官方写作评分“神器”——E-rater。

01
 E-rater是做什么的?

当考生完成托福考试后,作文部分(包括综合写作和独立写作)的分数将由接受过ETS培训的老师和E-rater共同批改

截图来源:https://www.ets.org/toefl/ibt/scores/

在批改过程中,机器和人工独立评分,互相不知道彼此的分数,人和机器的评分范围都是0-5分,最终系统会对这两个分数进行加权平均。

值得一提的是,为了保证分数的公平有效,人工给分和机器给分的误差不得超过1分(如人工给出3分,机器给出4分为正常;人工给出2分,机器给出4分则为异常分数);若两者分数误差超过1分,将由ETS的专业阅卷者进行再次评分。

02
 E-rater是如何做到准确阅卷的?

E-rater通过计算机数据功能对于考生写作文本的相关信息进行一定的标签匹配,结合ETS的过往的写作数据库来审核考生的写作质量。它利用的是计算机语言学中的自然语言处理(Natural Language Process,简称NLP)方法。

其中E-rater最擅长捕捉的是考生的语言使用,E-rater系统将考生考场作文的语言与数据库中不同分数段的文章的语言进行比对,判断考生的写作语言质量;

同时,E-rater还可以通过检测逻辑连接词的使用来大致判断考生文章的逻辑衔接情况,通过匹配主题关键词来检测考试的文章发展是否出现跑题

简单来说,像手机软件“唱吧”一样,E-rater就是把考生的作文与数据库里的文章进行比对,从而给出系统判断的分数。

03
 E-rater能够关注到考生写作的哪些方面?

许多人认为E-rater只能检查语法错误,这样想可就错了。

作为ETS开发的几大数据引擎之一,E-rater可以依据托福写作评分标准,审核考生作文的五个方面:

Organization & Development(文章组织和发展)

Grammar(语法)

Usage(用词)

Mechanics(格式)

Style(语言风格)

下图便是E-rater的母引擎Criterion呈现的分析界面:

在上图中,我们可以看到系统将考生的文章进行了不同色块的标注,每个色块代表着文章的不同成分。

开头段的黄色表示background information,红色表示thesis statement;

中间段蓝色表示topic sentence,绿色表示supporting information;

结尾段橙色表示conclusion

04
E-rater是如何按照托福写作要求进行评分呢?

我们知道,托福独立写作从三个维度去考量考生的作文:Development(内容发展)、Organization(结构组织)和Language Use(语言使用)。

E-rater既然读不懂我们的文章内容,那它是如何做到精准判分的呢?

Development这个维度要求考生在文章发展中做到内容充实,而E-rater并不能读懂考生的文章内容表达,因此它采取的方式是评估考生文章的The Length of Discourse Element(话语元素长度)。简单来说,话语元素长度从两个方面进行评估:

平均句长(也就是说,如果全文的句子写的都很短,则证明考生的思想内容很简单,没有能够有效表述清楚自己的论述。托福官方建议一篇托福写作的平均句长应该在15-20词左右);

正文段句子数量(也就是说在中间发展段中,如果句子数量过少,证明考生没有话说,因此也就无法有效展开自己的观点);

我们可以这样理解:

两个人文字聊天过程中,如果彼此有话说,那么双方发出去的句子一定不会很短,内容也不会很少;

如果彼此发出去的文章都是“嗯”、“哈哈”、“哦”、“呵呵”之类的,那么就基本上进入了尬聊的阶段。

当然,E-rater也会检测与话题相关的语言内容来确保考生是否出现跑题的现象,因此,紧扣主题,不断出现与主题相关的词汇和表达对于托福独立写作非常重要。

Organization这个维度要求考生合理组织段落,并且注意文章内容的逻辑衔接。读不懂考生的E-rater很是聪明地从这两个角度去评估:

The Number of Discourse Elements(话语元素数量,也就是合理分段。E-rater会检测考生是否在文章中呈现了Thesis Statement、Main Ideas、Supporting Ideas、Conclusion等。一般来说,建议考生的文章为4-5个自然段)

The Use of transitions(逻辑连接词的使用。机器通过检测考生句子之间的逻辑连接词去判断文章的逻辑是否存在以及是否合理)

Language Use这个维度是E-rater最擅长的,因为它可以通过对考生的语言表达进行数据分析,并匹配以往数据库里的语言数据,从而对考生的文章语言质量进行审核。

在语言层面,E-rater会:

Grammar角度去审核考生文章中的Fragments(句子碎片)、主谓一致(Subject-verb agreement)等内;

Usage角度去审核考生文章中的Missing or Extra Article(冠词错误)、Preposition Error(介词错误)、Wrong Part of Speech(词性错误)等;

Mechanics角度去审核考生文章中的Spelling(单词拼写)、Missing Comma(逗号缺失)等;

Style角度去审核考生文章中的Repetition of Words(词汇重复)、Short Sentences(过多短句使用)、Passive Voice(过多被动语态使用等)

如果大家想要进一步去了解Language Use的细节,建议大家去阅读《托福官方指南(第5版)》第669页到731页的第10章Writer’s Handbook for English Language Learners的具体内容。

其实,E-rater功能再怎么强大,它也是以人工阅卷模型来进行设计的,这就是为什么人机阅卷能够达到高度一致性。只要同学们满足了人工阅卷的要求,E-rater同样也会给出一个高分。

该文由新东方留学考试统筹,由合肥学校李盛老师供稿

 

本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
雅思写作与托福写作的区别
如何同时准备TOEFL和GRE还互不耽误?“一心两用”是个技术活……
GRE考试是如何给分的?
那年今日-托福考试篇
雅思和托福之间有什么区别?
雅思证书描述
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服