language: "zh" tags:

• 农业领域
• 农业 widget:
• text: "[MASK]是许多亚洲国家的主要粮食作物。"

农业领域BERT中文基础模型

这是一个专为农业领域优化的BERT模型。采用MLM（掩码语言模型）自监督学习方法进行训练。

• 掩码语言建模（MLM）：输入句子时，模型会随机遮蔽15%的词汇，然后处理整个被遮蔽的句子并预测被遮蔽的词汇。
• 与传统循环神经网络（RNN）逐词处理的方式不同，也不同于GPT等自回归模型内部遮蔽未来标记的机制。
• 该方法使模型能够学习句子的双向表征。

from transformers import pipeline
fill_mask = pipeline(
    "fill-mask",
    model="gigilin7/agriculture-bert-base-chinese",
    tokenizer="gigilin7/agriculture-bert-base-chinese"
)
res = fill_mask("[MASK]是许多亚洲国家的主要粮食作物。")