language: bn library_name: transformers tags:

• 文本摘要
• 孟加拉语
• mt5 license: mit metrics:
• rouge
• bleu base_model:
• google/mt5-small pipeline_tag: summarization

孟加拉语摘要生成器 MT5

该模型是基于MT5模型微调版本，专为孟加拉语文本摘要任务定制。

模型详情

• 开发者:

  • Tashfiqul Islam
  • Tashin Mahmud Khan
  • Amir Hamja Marjan
  • Simul Hossain

• 模型类型: 孟加拉语文本摘要

• 语言: 孟加拉语 (bn)

• 许可证: MIT许可证

• 微调基础模型: google/mt5-base

模型信息

• 网站链接: BTS网站
• 代码仓库链接: Github仓库

用途

直接使用

本模型旨在生成孟加拉语文本输入的简明摘要，适用于新闻摘要、内容聚合等应用场景。

下游应用

用户可将该模型集成到需要孟加拉语文本摘要功能的大型系统中。

非适用场景

本模型不适用于文本摘要之外的任务，如翻译或情感分析。

偏差、风险与限制

虽然模型在训练数据上表现良好，但可能无法完美泛化到所有孟加拉语文本。用户应注意训练数据中潜在的偏差，未经充分评估前避免将模型用于关键应用场景。

使用建议

建议用户针对特定数据集评估模型性能，必要时可考虑进一步微调。同时建议监控模型输出，防止出现意外偏差或错误。

快速开始

from transformers import MT5ForConditionalGeneration, MT5Tokenizer

model_name = "tashfiq61/bengali-summarizer-mt5"
tokenizer = MT5Tokenizer.from_pretrained(model_name)
model = MT5ForConditionalGeneration.from_pretrained(model_name)

def summarize(text):
    inputs = tokenizer.encode("summarize: " + text, return_tensors="pt", max_length=512, truncation=True)
    summary_ids = model.generate(inputs, max_length=150, min_length=40, length_penalty=2.0, num_beams=4, early_stopping=True)
    return tokenizer.decode(summary_ids[0], skip_special_tokens=True)

text = "在此输入孟加拉语文本"
print(summarize(text))

引用

如需使用本模型，请引用：

@misc{islam2024bengalisummarizer,
  title={孟加拉语摘要生成器MT5},
  author={Tashfiqul Islam},
  year={2024},
  publisher={Hugging Face},
  howpublished={\url{https://huggingface.co/tashfiq61/bengali-summarizer-mt5}}
}