语言:

• 孟加拉语
• 英语
• 多语言 标签:
• 翻译 许可证:
• 知识共享-署名-非商业性使用-相同方式共享 4.0

banglat5_nmt_bn_en

此仓库包含基于BanglaNMT孟加拉语-英语数据集微调的BanglaT5模型检查点。

注意：预训练模型使用了特定的文本归一化流程，该流程可在此处获取。为获得最佳效果，请确保在分词前使用此库对文本单元进行归一化处理。

在transformers中使用此模型（测试版本4.11.0.dev0）

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
from normalizer import normalize # 通过pip install git+https://github.com/csebuetnlp/normalizer安装

model = AutoModelForSeq2SeqLM.from_pretrained("csebuetnlp/banglat5_nmt_bn_en")
tokenizer = AutoTokenizer.from_pretrained("csebuetnlp/banglat5_nmt_bn_en", use_fast=False)

input_sentence = ""
input_ids = tokenizer(normalize(input_sentence), return_tensors="pt").input_ids
generated_tokens = model.generate(input_ids)
decoded_tokens = tokenizer.batch_decode(generated_tokens)[0]

print(decoded_tokens)

基准测试

• 在BanglaNMT测试集上的表现：