语言:

• 阿拉伯语
• 英语 标签:
• 机器翻译 许可协议: cc-by-4.0 推理: 不支持

HPLT机器翻译模型v1.0版

本仓库包含使用OPUS和HPLT数据训练的阿拉伯语-英语翻译模型。模型提供Marian和Hugging Face两种格式。

模型信息

• 源语言: 阿拉伯语
• 目标语言: 英语
• 训练数据: OPUS和HPLT数据
• 模型架构: Transformer-base
• 分词器: SentencePiece (Unigram算法)
• 数据清洗: 使用OpusCleaner配合基础规则集处理，具体过滤规则详见数据文件

更多细节请参阅我们的成果报告、GitHub仓库和项目官网。

使用说明

本模型使用MarianNMT框架训练，权重为Marian格式。我们也提供了Hugging Face格式版本以兼容transformers库。

Marian使用

使用MarianNMT进行推理时，请参考GitHub仓库的推理/解码/翻译章节。需要下载本仓库中的模型文件model.npz.best-chrf.npz和词汇表文件model.ar-en.spm。

Transformers使用

转换后的Hugging Face格式模型可通过以下脚本使用。注意：由于已知问题，该检查点不兼容transformer版本<4.26或>4.30。建议使用pip install transformers==4.28。

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("HPLT/translate-ar-en-v1.0-hplt_opus")
model = AutoModelForSeq2SeqLM.from_pretrained("HPLT/translate-ar-en-v1.0-hplt_opus")

inputs = ["此处输入待译文本", "请确保语言类型正确"]
batch_tokenized = tokenizer(inputs, return_tensors="pt", padding=True)
model_output = model.generate(
    **batch_tokenized, num_beams=6, max_new_tokens=512
)
batch_detokenized = tokenizer.batch_decode(
    model_output,
    skip_special_tokens=True,
)

print(batch_detokenized)

基准测试

使用Marian解码时，模型测试结果如下：

致谢

本项目获得欧盟"地平线欧洲"研究与创新计划（资助协议编号101070350）和英国研究与创新署（UKRI）通过英国政府"地平线欧洲"资助担保[资助编号10052546]的支持。

由爱丁堡大学和布拉格查理大学的研究人员开发，并得到整个HPLT联盟的支持。