语言:

• 英语
• 孟加拉语 标签:
• 机器翻译 许可证:
• 知识共享-署名-非商业性使用-相同方式共享 4.0 国际许可协议

banglat5_nmt_en_bn

此仓库包含基于BanglaNMT英语-孟加拉语数据集微调的BanglaT5模型检查点。

注意: 预训练模型使用了特定的文本规范化流程，该流程可在此处获取。为获得最佳效果，请确保在分词前使用该库对文本单元进行规范化处理。

在transformers中使用此模型（测试版本4.11.0.dev0）

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
from normalizer import normalize # 通过pip install git+https://github.com/csebuetnlp/normalizer安装

model = AutoModelForSeq2SeqLM.from_pretrained("csebuetnlp/banglat5_nmt_en_bn")
tokenizer = AutoTokenizer.from_pretrained("csebuetnlp/banglat5_nmt_en_bn", use_fast=False)

input_sentence = ""
input_ids = tokenizer(normalize(input_sentence), return_tensors="pt").input_ids
generated_tokens = model.generate(input_ids)
decoded_tokens = tokenizer.batch_decode(generated_tokens)[0]

print(decoded_tokens)

基准测试

• 在BanglaNMT测试集上的表现: