EsperBERTo：基于世界语训练的类RoBERTa语言模型

配套博客文章模型 https://huggingface.co/blog/how-to-train 🔥

训练详情

• 当前检查点：566000
• 机器名称：galinette

示例流程

from transformers import pipeline

fill_mask = pipeline(
    "fill-mask",
    model="julien-c/EsperBERTo-small",
    tokenizer="julien-c/EsperBERTo-small"
)

fill_mask("Jen la komenco de bela <mask>.")

# 这是一个美好<mask>的开始。
# =>

# {
#     'score':0.06502299010753632
#     'sequence':'<s> 这是一个美好生活的开始。</s>'
#     'token':1099
# }
# {
#     'score':0.0421181358397007
#     'sequence':'<s> 这是一个美好夜晚的开始。</s>'
#     'token':5100
# }
# {
#     'score':0.024884626269340515
#     'sequence':'<s> 这是一个美好工作的开始。</s>'
#     'token':1570
# }
# {
#     'score':0.02324388362467289
#     'sequence':'<s> 这是一个美好一天的开始。</s>'
#     'token':1688
# }
# {
#     'score':0.020378097891807556
#     'sequence':'<s> 这是一个美好庆典的开始。</s>'
#     'token':4580
# }