library_name: transformers language:

• my
• en

缅甸语-伯特模型

缅甸语-伯特是一个基于"bert-large-uncased"的双语掩码语言模型。

该架构基于Transformer的双向编码器表示。

支持英语和缅甸语。

模型详情

即将推出

模型描述

• 开发者: Min Si Thu
• 模型类型: Transformer双向编码器表示
• 支持语言(NLP): [需补充信息]
• 许可证: [需补充信息]
• 微调基础模型[可选]: [需补充信息]

模型来源[可选]

• 代码库: [需补充信息]
• 论文[可选]: [需补充信息]
• 演示[可选]: [需补充信息]

用途

• 掩码填充语言模型
• 缅甸语自然语言理解

使用方法

# 安装依赖
pip install transformers

from transformers import AutoModelForMaskedLM,AutoTokenizer

model_checkpoint = "jojo-ai-mst/BurmeseBert"
model = AutoModelForMaskedLM.from_pretrained(model_checkpoint)
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)

text = "这是一个很棒的[MASK]。"

import torch

inputs = tokenizer(text, return_tensors="pt")
token_logits = model(**inputs).logits
# 查找[MASK]位置并提取其逻辑值
mask_token_index = torch.where(inputs["input_ids"] == tokenizer.mask_token_id)[1]
mask_token_logits = token_logits[0, mask_token_index, :]
# 选取逻辑值最高的5个[MASK]候选词
top_5_tokens = torch.topk(mask_token_logits, 5, dim=1).indices[0].tolist()

for token in top_5_tokens:
    print(f"'>>> {text.replace(tokenizer.mask_token, tokenizer.decode([token]))}'")

引用[可选]

即将推出