许可证: apache-2.0 语言:

• 印尼语
• 亚齐语
• 巴厘语
• 班贾尔语
• 布吉语
• 哥伦打洛语
• 爪哇语
• 米南佳保语
• 马来语
• 尼亚斯语
• 巽他语
• 德顿语 语言编码:
• 爪哇语班尤马桑方言 数据集:
• sabilmakbar/indo_wiki
• acul3/KoPI-NLLB
• uonlp/CulturaX 标签:
• bert

NusaBERT基础版

NusaBERT基础版是基于BERT架构的多语言编码器语言模型。我们在开源语料库sabilmakbar/indo_wiki、acul3/KoPI-NLLB和uonlp/CulturaX上进行了持续预训练。在语料库的保留子集上，我们的模型取得了以下成绩：

• 评估准确率: 0.6866
• 评估损失: 1.4876
• 困惑度: 4.4266

该模型使用🤗Transformers PyTorch框架训练，所有训练均在NVIDIA H100 GPU上完成。LazarusNLP/NusaBERT-base基于Apache 2.0许可证发布。

模型详情

• 开发团队: LazarusNLP
• 微调基础: IndoBERT基础版p1
• 模型类型: 基于编码器的BERT语言模型
• 支持语言: 印尼语、亚齐语、巴厘语、班贾尔语、布吉语、哥伦打洛语、爪哇语、班尤马桑语、米南佳保语、马来语、尼亚斯语、巽他语、德顿语
• 许可证: Apache 2.0
• 联系方式: LazarusNLP

在🤗Transformers中使用

from transformers import AutoTokenizer, AutoModelForMaskedLM

model_checkpoint = "LazarusNLP/NusaBERT-base"

tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
model = AutoModelForMaskedLM.from_pretrained(model_checkpoint)

训练数据集

预训练使用了约160亿词元，来自以下语料库：

• 印尼维基百科数据仓库
• KoPI-NLLB（印尼语爬取语料库）
• 清洗、海量且公开：为167种语言民主化大语言模型的多语言燃料

训练超参数

训练过程中使用了以下超参数：

• 学习率: 0.0003
• 训练批次大小: 256
• 评估批次大小: 256
• 随机种子: 42
• 优化器: Adam，参数为betas=(0.9,0.999)和epsilon=1e-08
• 学习率调度器类型: 线性
• 学习率预热步数: 24000
• 训练总步数: 500000

框架版本

• Transformers 4.37.2
• Pytorch 2.2.0+cu118
• Datasets 2.17.1
• Tokenizers 0.15.1

开发团队

NusaBERT基础版由以下成员倾力打造：

引用文献

@misc{wongso2024nusabert,
  title={NusaBERT: 让IndoBERT成为多语言多文化模型}, 
  author={Wilson Wongso and David Samuel Setiawan and Steven Limcorn and Ananto Joyoadikusumo},
  year={2024},
  eprint={2403.01817},
  archivePrefix={arXiv},
  primaryClass={cs.CL}
}