language: 多语言-英语 tags:

• 质量评估
• 单语TransQuest
• 直接评估 license: apache-2.0

TransQuest：基于跨语言Transformer的翻译质量评估

质量评估（QE）的目标是在没有参考译文的情况下评估翻译的质量。高精度且能轻松部署于多种语言对的QE技术，是许多商业翻译流程中缺失的一环，因为它们具有众多潜在用途。当多个翻译引擎可用时，QE可用于选择最佳翻译，或向最终用户告知自动翻译内容的可靠性。此外，QE系统还可用于决定在特定上下文中是否可以直接发布翻译，还是需要人工后期编辑或由人工重新翻译。质量评估可在不同层级进行：文档级、句子级和词级。

通过TransQuest，我们开源了在翻译质量评估方面的研究成果，该成果还在WMT 2020的句子级直接评估质量评估共享任务中获胜。TransQuest超越了当前的开源质量评估框架，如OpenKiwi和DeepQuest。

功能特点

• 句子级翻译质量评估，涵盖两方面：预测后期编辑需求和直接评估。
• 词级翻译质量评估，能够预测源词、目标词和目标空缺的质量。
• 在所有实验语言中均优于当前最先进的质量评估方法，如DeepQuest和OpenKiwi。
• 提供15种语言对的预训练质量评估模型，可在HuggingFace获取。

安装

通过pip安装

pip install transquest

从源码安装

git clone https://github.com/TharinduDR/TransQuest.git
cd TransQuest
pip install -r requirements.txt

使用预训练模型

import torch
from transquest.algo.sentence_level.monotransquest.run_model import MonoTransQuestModel

model = MonoTransQuestModel("xlmroberta", "TransQuest/monotransquest-da-any_en", num_labels=1, use_cuda=torch.cuda.is_available())
predictions, raw_outputs = model.predict([["Reducerea acestor conflicte este importantă pentru conservare.", "Reducing these conflicts is not important for preservation."]])
print(predictions)

文档

更多详情请参阅文档。

1. 安装指南 - 使用pip本地安装TransQuest。
2. 架构介绍 - 查看TransQuest中实现的架构：
   1. 句子级架构 - 我们发布了两种架构：MonoTransQuest和SiameseTransQuest，用于执行句子级质量评估。
   2. 词级架构 - 我们发布了MicroTransQuest，用于执行词级质量评估。
3. 示例 - 我们提供了多个示例，展示如何在近期的WMT质量评估共享任务中使用TransQuest：
   1. 句子级示例
   2. 词级示例
4. 预训练模型 - 我们提供了15种语言对的预训练质量评估模型，涵盖句子级和词级：
   1. 句子级模型
   2. 词级模型
5. 联系我们 - 如有任何问题，请联系我们。

引用

如果使用词级架构，请考虑引用这篇被ACL 2021接受的论文：

@InProceedings{ranasinghe2021,
author = {Ranasinghe, Tharindu and Orasan, Constantin and Mitkov, Ruslan},
title = {An Exploratory Analysis of Multilingual Word Level Quality Estimation with Cross-Lingual Transformers},
booktitle = {Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics},
year = {2021}
}

如果使用句子级架构，请考虑引用这些在COLING 2020和WMT 2020（EMNLP 2020）上发表的论文：

@InProceedings{transquest:2020a,
author = {Ranasinghe, Tharindu and Orasan, Constantin and Mitkov, Ruslan},
title = {TransQuest: Translation Quality Estimation with Cross-lingual Transformers},
booktitle = {Proceedings of the 28th International Conference on Computational Linguistics},
year = {2020}
}

@InProceedings{transquest:2020b,
author = {Ranasinghe, Tharindu and Orasan, Constantin and Mitkov, Ruslan},
title = {TransQuest at WMT2020: Sentence-Level Direct Assessment},
booktitle = {Proceedings of the Fifth Conference on Machine Translation},
year = {2020}
}