license: apache-2.0 pipeline_tag: fill-mask

MizBERT：面向米佐语文本理解的掩码语言模型

演示应用：https://huggingface.co/spaces/robzchhangte/Mizo-MLM

概述

MizBERT是基于米佐语文本语料库预训练的掩码语言模型（MLM）。该模型采用BERT（基于Transformer的双向编码器表示）架构，通过掩码语言建模目标有效学习米佐语词汇的上下文表征。

核心特性

• 米佐语专用：专为米佐语定制，能捕捉该语言独特的语言学特征和词汇体系
• 掩码预测机制：通过预测被遮蔽词汇的预训练任务，深度理解米佐语语义关系
• 上下文嵌入：生成动态词向量，根据语境准确编码词汇语义
• 迁移学习：预训练权重可微调应用于多种米佐语NLP下游任务，如文本分类、问答系统和情感分析

应用场景

• 米佐语NLP研究：为米佐语自然语言处理研究提供基础模型支持
• 米佐语机器翻译：可开发米佐语与其他语言间的鲁棒翻译系统
• 米佐语文本分类：适用于情感分析、主题建模、垃圾文本检测等任务
• 米佐语问答系统：构建能理解米佐语问题的智能问答引擎
• 米佐语聊天机器人：增强聊天机器人对米佐语的理解和交互能力

快速开始

通过Hugging Face Transformers库安装使用：

pip install transformers

调用示例：

from transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("robzchhangte/mizbert")
model = AutoModelForMaskedLM.from_pretrained("robzchhangte/mizbert")

掩码预测示例

from transformers import pipeline

fill_mask = pipeline("fill-mask", model="robzchhangte/mizbert")

sentence = "Miten kan thiltih [MASK] min teh thin" ## 预期预测词为"atangin"。英文对应谚语：A tree is known by its fruit.
predictions = fill_mask(sentence)

for prediction in predictions:
    print(prediction["sequence"].replace("[CLS]", "").replace("[SEP]", "").strip(), "| 置信度:", prediction["score"])

引用格式

@article{lalramhluna2024mizbert,
  title={MizBERT: A Mizo BERT Model},
  author={Lalramhluna, Robert and Dash, Sandeep and Pakray, Dr Partha},
  journal={ACM Transactions on Asian and Low-Resource Language Information Processing},
  year={2024},
  publisher={ACM New York, NY}
}