语言:

• 英文 数据集:
• 生物医学文献
• 化学专利
• 烹饪食谱

ProcBERT模型

ProcBERT是专为流程文本优化的预训练语言模型。该模型基于超120亿标记的大规模流程文本语料库（包含生物医学文献/化学专利/烹饪食谱）进行预训练，在下游任务中展现出卓越性能。更多技术细节请参阅以下论文：

@inproceedings{bai-etal-2021-pre,
    title = "预算约束下的领域适应：预训练还是人工标注？",
    author = "白帆 和
             艾伦·里特 和
             徐威",
    booktitle = "2021年自然语言处理实证方法会议论文集",
    month = "11月",
    year = "2021",
    address = "线上会议及多米尼加共和国蓬塔卡纳",
    publisher = "计算语言学协会",
}

使用指南

from transformers import *
tokenizer = AutoTokenizer.from_pretrained("fbaigt/procbert")
model = AutoModelForTokenClassification.from_pretrained("fbaigt/procbert")

完整使用说明详见GitHub仓库。