语言:

• 阿拉伯语
• 英语 标签:
• 机器翻译 许可协议: cc-by-4.0 推理: 不支持

HPLT机器翻译模型v1.0版发布

本仓库包含仅使用HPLT数据训练的阿拉伯语-英语翻译模型。模型提供Marian和Hugging Face两种格式。

模型信息

• 源语言: 阿拉伯语
• 目标语言: 英语
• 训练数据: 仅HPLT数据
• 模型架构: Transformer-base
• 分词器: SentencePiece (Unigram)
• 数据清洗: 使用OpusCleaner配合基础规则集处理，具体过滤规则详见此处

更多细节请参阅我们的成果报告、GitHub仓库和官网。

使用说明

注意：出于质量考虑，建议优先使用HPLT/translate-ar-en-v1.0-hplt_opus模型。

本模型使用MarianNMT训练，权重为Marian格式。我们也提供了Hugging Face格式版本以兼容transformers。

Marian使用

运行MarianNMT推理请参考GitHub仓库的推理/解码/翻译章节，需使用本仓库的model.npz.best-chrf.npz模型文件和model.ar-en.spm词汇表文件。

Transformers使用

转换后的Hugging Face格式模型可通过以下脚本使用。注意：由于已知问题，该检查点不兼容transformer版本<4.26或>4.30，建议使用pip install transformers==4.28。

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("HPLT/translate-ar-en-v1.0-hplt")
model = AutoModelForSeq2SeqLM.from_pretrained("HPLT/translate-ar-en-v1.0-hplt")

inputs = ["此处输入文本", "请确保语言类型正确"]
batch_tokenized = tokenizer(inputs, return_tensors="pt", padding=True)
model_output = model.generate(
    **batch_tokenized, num_beams=6, max_new_tokens=512
)
batch_detokenized = tokenizer.batch_decode(
    model_output,
    skip_special_tokens=True,
)

print(batch_detokenized)

基准测试

使用Marian解码时，模型测试结果如下：

致谢

本项目由欧盟"地平线欧洲"科研创新计划(资助协议号101070350)和英国研究与创新署(UKRI)根据英国政府"地平线欧洲"资助担保[资助编号10052546]提供资金支持。

由爱丁堡大学和布拉格查理大学的研究人员开发，并得到整个HPLT联盟的支持。