language: "mn" tags:

• bert
• mongolian
• cased

蒙古语基础版BERT（区分大小写）

官方蒙古语-BERT仓库链接

模型描述

本仓库包含由tugstugi、enod和sharavsambuu训练的预训练蒙古语BERT模型。特别感谢提供5个TPU的nabar。

本仓库基于以下开源项目：google-research/bert、huggingface/pytorch-pretrained-BERT和yoheikikuta/bert-japanese。

使用方法

from transformers import pipeline, AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained('tugstugi/bert-base-mongolian-cased', use_fast=False)
model = AutoModelForMaskedLM.from_pretrained('tugstugi/bert-base-mongolian-cased')

## 声明任务 ##
pipe = pipeline(task="fill-mask", model=model, tokenizer=tokenizer)

## 示例 ##
input_  = '[MASK] хот Монгол улсын нийслэл.'

output_ = pipe(input_)
for i in range(len(output_)):
    print(output_[i])

## 输出 ##
# {'sequence': 'Улаанбаатар хот Монгол улсын нийслэл.', 'score': 0.826970100402832, 'token': 281, 'token_str': 'Улаанбаатар'}
# {'sequence': 'Нийслэл хот Монгол улсын нийслэл.', 'score': 0.06551621109247208, 'token': 4059, 'token_str': 'Нийслэл'}
# {'sequence': 'Эрдэнэт хот Монгол улсын нийслэл.', 'score': 0.0264141745865345, 'token': 2229, 'token_str': 'Эрдэнэт'}
# {'sequence': 'Дархан хот Монгол улсын нийслэл.', 'score': 0.017083868384361267, 'token': 1646, 'token_str': 'Дархан'}
# {'sequence': 'УБ хот Монгол улсын нийслэл.', 'score': 0.010854342952370644, 'token': 7389, 'token_str': 'УБ'}

训练数据

蒙古语维基百科和7亿词规模的蒙古语新闻数据集[预训练流程]

BibTeX引用信息

@misc{mongolian-bert,
  author = {Tuguldur, Erdene-Ochir and Gunchinish, Sharavsambuu and Bataa, Enkhbold},
  title = {BERT Pretrained Models on Mongolian Datasets},
  year = {2019},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/tugstugi/mongolian-bert/}}
}