语言:

• 孟加拉语 许可证: apache-2.0 数据集:
• uonlp/CulturaX
• 维基百科 任务标签: 文本生成

TituLM-1B-BN-V1

TituLM-1B-BN-V1 是一个专为生成和理解孟加拉语文本而训练的大型语言模型。该模型采用解码器风格的Transformer架构，基于包含45.1亿孟加拉语标记的数据集进行了广泛训练。此模型是Hishab公司迭代训练和发布的孟加拉语大语言模型系列的一部分。

训练过程

训练使用MosaicML的llm-foundry框架完成。模型共经历了59轮迭代训练，实现了持续的优化改进。

关键训练配置：

• 注意力头数：16
• 网络层数：24
• 最大序列长度：2048
• 词表大小：72000
• 注意力实现方式：flash
• 训练硬件：GCP平台的8块H100 GPU

训练评估指标

• 交叉熵损失 最终损失值：3.11

• 语言困惑度 最终困惑度：22.562

数据集

我们整合了多来源的孟加拉语文本数据：

• Culturax语料库
• 书籍文本
• 孟加拉语维基百科
• Banglapedia百科全书
• 新闻文章

最终构建了58GB去重数据，包含45.1亿标记，使用自训练的sentencepiece模型进行分词。

使用方法

安装必要依赖库：

pip install transformers einops accelerate

文本生成示例代码：

import transformers
from transformers import pipeline

model_name = 'hishab/titulm-1b-bn-v1'

config = transformers.AutoConfig.from_pretrained(model_name, trust_remote_code=True)
config.max_seq_len = 2048

model = transformers.AutoModelForCausalLM.from_pretrained(
  model_name,
  config=config,
  trust_remote_code=True
)

tokenizer = transformers.AutoTokenizer.from_pretrained('hishab/titulm-1b-bn-v1')

pipe = pipeline('text-generation', model=model, tokenizer=tokenizer, device='cuda:0')
output = pipe('আমি বাংলায় গান',
            max_new_tokens=100,
            do_sample=True,
            use_cache=True)

print(output)

引用格式

@misc{hishab_2024_titulm_1b_bn_v1,
  author = {Hishab科技有限公司},
  title = {TituLM-1B-BN-V1孟加拉语大模型},
  year = {2024},
  publisher = {HuggingFace模型库},
  howpublished = {https://huggingface.co/hishab/titulm-1b-bn-v1},
}