标签:

• 填充掩码
• 日语
• ALBERT

语言:

• ja

许可证: mit

小部件:

• 文本: "明日は明日の[MASK]が吹く"

albert-base-japanese-v1-with-japanese

这是一个经过日语预训练的ALBERT模型
该模型使用了BertJapaneseTokenizer类作为分词器
相比albert-base-japanese-v1，分词处理更加便捷

使用方法

微调

这是一个预训练模型
基本设想是经过针对各种任务的微调后使用

填充掩码

PyTorch版

from transformers import (
    AutoModelForMaskedLM, AutoTokenizer
)


tokenizer = AutoTokenizer.from_pretrained("ken11/albert-base-japanese-v1-with-japanese-tokenizer")
model = AutoModelForMaskedLM.from_pretrained("ken11/albert-base-japanese-v1-with-japanese-tokenizer")

text = "明日は明日の[MASK]が吹く"
tokens = tokenizer(text, return_tensors="pt")
mask_index = tokens["input_ids"][0].tolist().index(tokenizer.mask_token_id)
predict = model(**tokens)[0]
_, result = predict[0, mask_index].topk(5)

print(tokenizer.convert_ids_to_tokens(result.tolist()))

TensorFlow版

from transformers import (
    TFAutoModelForMaskedLM, AutoTokenizer
)
import tensorflow as tf


tokenizer = AutoTokenizer.from_pretrained("ken11/albert-base-japanese-v1-with-japanese-tokenizer")
model = TFAutoModelForMaskedLM.from_pretrained("ken11/albert-base-japanese-v1-with-japanese-tokenizer")

text = "明日は明日の[MASK]が吹く"
tokens = tokenizer(text, return_tensors="tf")
mask_index = tokens["input_ids"][0].numpy().tolist().index(tokenizer.mask_token_id)
predict = model(**tokens)[0]
result = tf.math.top_k(predict[0, mask_index], k=5)

print(tokenizer.convert_ids_to_tokens(result.indices.numpy()))

训练数据

训练使用了:

• 日语维基百科全文

分词器

分词器使用了BertJapaneseTokenizer类
训练数据与上述相同

许可证

MIT许可证