托福写作e-rater为什么偏向中国考生？

VICE近日的一篇报道对作文的机器打分提出了质疑，而托福考试的写作部分正是采用了ETS自行研究的e-rater电子评分系统。

该报道同时指出，根据ETS的研究，e-rater给中国考生作文的分数比人工评分要高。

什么是e-rater？

早在2010年1月，ETS就对托福写作评分进行了调整，由原来的2个阅卷人评分，取算术平均分作为原始分(raw score)，改为1个阅卷人和1个电脑评分系统(e-rater)评分。

e-rater所使用的是计算机语言学中的自然语言处理（Natural Language Process）方法。e-rater抽取出影响一篇文章好坏的一些要素，通过计算机数据功能与考生写作文本的相关信息进行标签匹配，并结合ETS过往的写作数据库来审核考生的写作质量。

根据ETS网站的信息，e-rater目前考虑的文章要素包括以下几个方面：

★ content analysis based on vocabulary measures

基于词汇量的文本分析

★ lexical complexity/diction

用词复杂性

★ proportion of grammar errors

语法错误的比例

★ proportion of usage errors

用法错误的比例

★ proportion of mechanics errors

结构错误比例

★ proportion of style comments

文体得当程度

★ organization and development scores

组织语言及展开的能力

★ features rewarding idiomatic phraseology

使用习语的情况

ETS也在官网上表示，由于机器无法判定语言的有效性及内容的合理性，因此这部分内容必须由人工评分员完成。

值得一提的是，为了保证分数的公平有效，人工给分和机器给出的原始分（评分范围0-5）相差不得超过1分，若两者分数误差超过1分，将由ETS的专业阅卷者进行再次评分。

e-rater偏爱中国考生？

根据VICE的报道，据ETS于1999年、2004年、2007年、2008年、2012年和2018年进行的研究显示，相比人工打分，e-rater会特别偏爱某些地区的考生，特别是来自中国的考生。

同时，尽管ETS进行了调整，e-rater倾向于给非裔、阿拉伯裔、西班牙裔和印度裔打分较低。

由于各族裔的语言习惯不同，ETS高级研究员Brent Bridgeman表示，“如果我们对系统进行调整，某个国家的考生分数可能会得到修正，但这样很可能会伤害另一个国家的考生。分数偏见由何而来？

除了托福，ETS开设的另一个考试GRE（研究生入学考试）同样采用e-rater给考生的写作部分打分。

2018年12月，一项有关GRE写作评分的最新研究拆解了ETS的算法，从而揭示是什么造成了e-rater评分上的不一致。

结果显示，相对整体GRE考生，中国考生在语法和结构上的得分较低，但e-rater会在文章长度、词汇复杂程度上给中国考生的分数超过平均分，其结果e-rater最终给出的中国考生写作成绩平均比人工打分高1.3分。

很多研究者认为，这与很多中国考生在答题时使用事先背好的模板（pre-memorized shell text）有关。

另一方面，e-rater给非裔考生在语法、风格、语言组织（与文章长度相关的指标）上往往打分较低，因此非裔考生总体得分低。而人工打分则往往会高e-rater的成绩0.83分。

不过，正如上面介绍的，当e-rater和人工打分存在超过1分的分歧时，将会由另一个专业阅卷人士再次打分，所以ETS认为实际中并没有考生会被e-rater的“偏见“所影响。

VICE的报道则认为，尽管写作评分的“偏见”可能一直都存在，但由于像e-rater这样的机器通过学习大量人工打分而去模仿人工，很大程度上可能强化了原本存在的“偏见”。

如何备考托福写作

尽管上述研究表明中国考生套用模板获得了e-rater的青睐。但网上一直流传着ETS建立了查重机制的传言，甚至是和自己此前考试的文章重复都不行。

那么，大家应该如何应对备考托福写作呢？

一方面大家可以积累语料，尽管死记硬背模板已行不通，但学习句式和文章结构仍然是提升写作水平的有利方法。同时，背好不同话题下所需要的必备词汇，塑造属于自己独一无二的语料库。

另一方面，所有的提高都离不开练习。针对不同话题如何快速梳理思路、保证文章的语法正确、逻辑清晰，都是需要平时不断练习来提升的。