语言: "英语" 标签:

• 农业领域
• 农业
• 填充掩码 小部件示例:
• 文本: "[MASK]农业为城市绿色和蓝色基础设施创新提供了最具前景的领域之一。"

农业领域专用BERT模型

该模型基于SciBERT检查点进行领域适应性预训练，专门针对农业领域优化。

训练数据集平衡兼顾了农业领域的科学文献与普通文本，涵盖农业科研与实践知识的多个分支领域。语料库包含来自美国政府国家农业图书馆(NAL)的120万段落，以及来自农业领域书籍和常见文献的530万段落。

采用掩码语言建模(MLM)的自监督学习方式进行训练：

• 掩码语言建模：随机遮蔽输入句子中15%的词汇后，模型需要基于上下文预测被遮蔽词汇。与传统循环神经网络(RNN)的逐词处理或GPT类自回归模型不同，该方法支持模型学习句子的双向语义表征。

from transformers import pipeline
fill_mask = pipeline(
    "fill-mask",
    model="recobo/agriculture-bert-uncased",
    tokenizer="recobo/agriculture-bert-uncased"
)
fill_mask("[MASK]是指培育植物和饲养牲畜的实践活动。")