《2022年机器翻译评测讲演》解读（下）

近日，Intento公司与e2f公司协作发布《2022年机器翻译评测讲演》，从9个行业范畴、11个言语对评测了全球市场31个机器翻译引擎。该讲演旨在对机器翻译供给商的机器翻译性能中止深化洞察和剖析，为如何选择最合适的机器翻译引擎提供参考。

1

机器翻译评测措施

（一） 自动评价机器翻译质量措施

• hLEPOR-句法相似性：比较基于标记的n-grams的相似性。惩罚漏译和多译；惩罚意译/同义词；惩罚译文的不同长度。

• BERTScore-语义相似性：剖析机器翻译的BERT分数和参考译文之间差距。不惩罚意译/同义词。关于BERT模型中代表性缺乏的范畴和术语来说，该评测措施可能是不牢靠的。

• TER-句法相似性：评价机器翻译结果转化成参考译文所需求中止译后编辑（增加、删除、移位和交流）的次数。惩罚意译/同义词；惩罚译文的不同长度。

• PRISM-语义相似性：对机器翻译结果转述为参考译文中止评价。惩罚流利性和充沛性错误；不惩罚意译/同义词；对韩语不适用。

• COMET-语义相似性：运用来自机器翻译生成的译文，参考译文和源言语文本预测机器翻译质量。它应用这些表示来学习预测质量分数，该质量分数被显式优化以与人类对翻译质量的判别相关联。完成了最先进的与人工评测的相关性水平。可能会对意译/同义词中止惩罚。

• SacreBLEU-句法相似性：比较机器翻译的结果与参考译文基于标记的相似性，并在整个语料库取平均值。惩罚漏译和多译；惩罚意译/同义词；惩罚译文的不同长度。

（二）讲演为什么选用COMET？

讲演对15个言语对和21个不同的机器翻译模型中止了研讨。其中，将几个自动评价措施与人工评测中止了比较，发往常15个言语对中的10个言语对中，COMET与人工评测的相关性优于其他评测措施。

从上述皮尔森相关系数(Pearson correlation coefficient)能够看出，在英-德、英-葡、英-荷、英-法、英-西、英-朝鲜语言语对中, 相比BERTScore、hLEPOR、TER，COMET和人工评测的相关性更接近。

此外，在大多数状况下，COMET和人工评测有最好的相关性。从LQA Rating(Linguistic Quality Assurance Rating)言语质量保障指数中，能够看出相比BERTScore、 hLEPOR，TER，COMET和人工评测的相关系数更高。

综上所述，讲演采用COMET中止机器翻译质量评测，是由于它与人工评测有更好的关联性。用该框架锻炼的模型在与人类判别的相关性方面显著优于其他自动评价措施。

2

机器翻译评测讲演剖析

（一）言语对

在基于言语对的评测中，有6个机器翻译引擎表示尤为突出，分别是谷歌、DeepL、Amazon、Yandex、Naver和有道。其中DeepL和谷歌二者分离即能够掩盖所选全部言语对。在英-中这一言语对中，谷歌和有道的表示最佳（不思索范畴）。能够发现，质量最高的机器翻译引擎基本上都是提供定制化效劳或术语支持的。

（二） 范畴

在基于范畴的评测中，有16个机器翻译引擎都在不同言语对、不同范畴中占领主导位置。在某些言语对中，占领主导位置的机器翻译较为单一（如英-荷）；但在英-西、英-中这两个言语对中，表示良好的机器翻译引擎明显较多；在英-中这一言语对中，综合各范畴来看，表示最好的依然是谷歌和有道。

法律、金融、信息技术和医疗4个范畴性能最好的机器翻译引擎较为单一，因而需求谨慎选择供给商。文娱和口语范畴的评分普遍较低，入选的机器翻译仍需在这两个范畴中继续优化，提升其定制化功用。在所选机器翻译中，触及范畴最多的是谷歌和DeepL，但还有一些引擎只针对某一专业范畴，例如HiThink和XL8，HiThink只适用于金融范畴的英译中，XL8只适用于文娱范畴的英-西、英-法、英-韩翻译。

（三）最小掩盖范围

讲演显现，至少需求6种机器翻译，即可掩盖一切言语对和行业范畴。若想翻译某一细致范畴，2~4种机器翻译引擎也可满足一切言语对的翻译需求。

3

机器翻译供给商新变更

机器翻译在2022年疾速展开，其中最突出的就是关于言语对的关注，部分机器翻译供给商言语对数量大幅增加。此外，还有一些开端关注机器翻译关于原文“语气”（tone of choice）的再现和保存，一些开源模型也逐步涌现出来。

• Amazon Translate参与机器翻译语气支持；
• DeepL参与意-英、波-英2个新言语对；
• Microsoft将言语对增加至10000多对；
• 小牛翻译涵盖言语对最多，抵达90902对；
• 第一个具有超越1000亿个参数的开源模型BLOOM开放供公众运用，共有1750亿参数；
• Meta AI公开了其开源预锻炼模型NLLB。

4

机器翻译引擎定价

讲演显现，除一些按客户请求定制和免费/测试版的机器翻译引擎外，价钱排在前三的机器翻译分别为Cloud Translation、SAP Translation Hub和Kawamura，每百万字符的价钱分别为626美圆、450美圆和100~400美圆不等。

5

机器翻译评测结果剖析

该讲演对评测结果进一步中止了剖析，得出了如下结论：

• 机器翻译供给商数量增加，由2021年的41个增至45个；
• 涵盖言语对数量增加，抵达125075对；
• 16个机器翻译引擎在9个行业范畴、11个言语对评测中表示最佳；
• 开源引擎在商用系统中处于第二梯队；
• 金融、法律、信息技术、医疗4个范畴中，机器翻译质量表示差距较大，性能较好的机器翻译比较单一，需谨慎选择；
• 在文娱和口语范畴，多数机器翻译引擎仍需进一步提升其定制化性能。

以上是对《2022年机器翻译评测讲演》的最新解读，若想获取讲演原文，请点击下方“阅读原文”。上一期的讲演剖析请点击链接《2022年机器翻译评测讲演》解读（上）。

搜索行业信息，关注前沿资讯，欢送大家关注“译知科技”公众号。希望本系列文章能为机器翻译从业者或喜好者提供一些行业洞察，让我们一同相互交流，共同窗习！

本文转载自：译知科技公众号

关注微信公众号“言语效劳行业”，“翻译技术教育与研讨”，了解更多言语效劳行业与翻译技术相关的资讯和洞察~