孟加拉语T5基础模型

bengali-t5-base 是一个基于MT5数据集中孟加拉语部分训练的模型。我们使用T5-base模型作为基础架构。

该模型由HuggingFace组织的Flax/Jax社区周开发，并得到谷歌提供的TPU算力支持。

模型训练数据量约110亿token（批次大小64，512个token，35万步训练）。

加载分词器

>>> tokenizer = transformers.AutoTokenizer.from_pretrained("flax-community/bengali-t5-base")
>>> tokenizer.encode("আমি বাংলার গান গাই")
>>> tokenizer.decode([93, 1912, 814, 5995, 3, 1])

[93, 1912, 814, 5995, 3, 1]
'আমি বাংলার গান গাই </s>'

加载模型

>>> config  = T5Config.from_pretrained("flax-community/bengali-t5-base")
>>> model = FlaxT5ForConditionalGeneration.from_pretrained("flax-community/bengali-t5-base", config=config)

本模型采用去噪目标和训练脚本进行训练。当前版本不具备文本生成能力，如需生成功能请参考论文对模型进行"前缀语言模型"目标的微调。

训练指标详见TensorBoard的"Training metrics"标签页。

请注意，我们尚未在任何下游任务上对该模型进行微调。

项目提案

• 项目提案书

核心成员

• 伊布拉希姆·穆罕默德·穆萨
• 塔斯尼姆·莫希丁
• 哈立德·赛富拉
• 塔辛·梅耶莎
• M·赛富尔·巴里

实用链接

• 社区周时间表
• 社区周说明文档
• 掩码语言建模示例脚本
• 模型仓库