快捷报班:   
快捷登陆: QQ登录 微博登录 你好,欢迎来到新东方
账号 密码 登录 注册 忘记密码

新东方网>上海新东方学校>上海托福>托福写作>正文

托福写作e-rater为什么偏向中国考生?

2019-11-27 18:01

来源:

作者:

VICE近日的一篇报道对作文的机器打分提出了质疑,而托福考试的写作部分正是采用了ETS自行研究的e-rater电子评分系统。

该报道同时指出,根据ETS的研究,e-rater给中国考生作文的分数比人工评分要高。

什么是e-rater

早在20101月,ETS就对托福写作评分进行了调整,由原来的2个阅卷人评分,取算术平均分作为原始分(raw score),改为1个阅卷人和1个电脑评分系统(e-rater)评分。

e-rater所使用的是计算机语言学中的自然语言处理(Natural Language Process)方法。e-rater抽取出影响一篇文章好坏的一些要素,通过计算机数据功能与考生写作文本的相关信息进行标签匹配,并结合ETS过往的写作数据库来审核考生的写作质量。

根据ETS网站的信息,e-rater目前考虑的文章要素包括以下几个方面:

content analysis based on vocabulary measures

基于词汇量的文本分析

lexical complexity/diction

用词复杂性

proportion of grammar errors

语法错误的比例

proportion of usage errors

用法错误的比例

proportion of mechanics errors

结构错误比例

proportion of style comments

文体得当程度

organization and development scores

组织语言及展开的能力

features rewarding idiomatic phraseology

使用习语的情况

ETS也在官网上表示,由于机器无法判定语言的有效性及内容的合理性,因此这部分内容必须由人工评分员完成。

值得一提的是,为了保证分数的公平有效,人工给分和机器给出的原始分(评分范围0-5)相差不得超过1分,若两者分数误差超过1分,将由ETS的专业阅卷者进行再次评分。

e-rater偏爱中国考生?

根据VICE的报道,据ETS1999年、2004年、2007年、2008年、2012年和2018年进行的研究显示,相比人工打分,e-rater会特别偏爱某些地区的考生,特别是来自中国的考生。

同时,尽管ETS进行了调整,e-rater倾向于给非裔、阿拉伯裔、西班牙裔和印度裔打分较低。

由于各族裔的语言习惯不同,ETS高级研究员Brent Bridgeman表示,“如果我们对系统进行调整,某个国家的考生分数可能会得到修正,但这样很可能会伤害另一个国家的考生。分数偏见由何而来?

除了托福,ETS开设的另一个考试GRE(研究生入学考试)同样采用e-rater给考生的写作部分打分。

201812月,一项有关GRE写作评分的最新研究拆解了ETS的算法,从而揭示是什么造成了e-rater评分上的不一致。

结果显示,相对整体GRE考生,中国考生在语法和结构上的得分较低,但e-rater会在文章长度、词汇复杂程度上给中国考生的分数超过平均分,其结果e-rater最终给出的中国考生写作成绩平均比人工打分高1.3分。

很多研究者认为,这与很多中国考生在答题时使用事先背好的模板(pre-memorized shell text)有关。

另一方面,e-rater给非裔考生在语法、风格、语言组织(与文章长度相关的指标)上往往打分较低,因此非裔考生总体得分低。而人工打分则往往会高e-rater的成绩0.83分。

不过,正如上面介绍的,当e-rater和人工打分存在超过1分的分歧时,将会由另一个专业阅卷人士再次打分,所以ETS认为实际中并没有考生会被e-rater的“偏见“所影响。

VICE的报道则认为,尽管写作评分的“偏见”可能一直都存在,但由于像e-rater这样的机器通过学习大量人工打分而去模仿人工,很大程度上可能强化了原本存在的“偏见”。

如何备考托福写作

尽管上述研究表明中国考生套用模板获得了e-rater的青睐。但网上一直流传着ETS建立了查重机制的传言,甚至是和自己此前考试的文章重复都不行。

那么,大家应该如何应对备考托福写作呢?

一方面大家可以积累语料,尽管死记硬背模板已行不通,但学习句式和文章结构仍然是提升写作水平的有利方法。同时,背好不同话题下所需要的必备词汇,塑造属于自己独一无二的语料库。

另一方面,所有的提高都离不开练习。针对不同话题如何快速梳理思路、保证文章的语法正确、逻辑清晰,都是需要平时不断练习来提升的。

新东方留学院校库,留学选校有门道

A BETTER YOU,A BIGGER WORLD!

焦点推荐

版权及免责声明

凡本网注明"稿件来源:新东方"的所有文字、图片和音视频稿件,版权均属新东方教育科技集团(含本网和新东方网) 所有,任何媒体、网站或个人未经本网协议授权不得转载、链接、转贴或以其他任何方式复制、发表。已经本网协议授权的媒体、网站,在下载使用时必须注明"稿件来源:新东方",违者本网将依法追究法律责任。

本网未注明"稿件来源:新东方"的文/图等稿件均为转载稿,本网转载仅基于传递更多信息之目的,并不意味着赞同转载稿的观点或证实其内容的真实性。如其他媒体、网站或个人从本网下载使用,必须保留本网注明的"稿件来源",并自负版权等法律责任。如擅自篡改为"稿件来源:新东方",本网将依法追究法律责任。

如本网转载稿涉及版权等问题,请作者见稿后在两周内速来电与新东方网联系,电话:010-60908555。

词汇测试
×