语言:

• 英语 缩略图: 标签:
• 语言模型 许可证: 数据集:
• EMBO/biolang 指标:

生物语言模型

模型描述

该模型基于RoBERTa基础预训练模型，通过掩码语言建模任务在生命科学领域的英文科学文本示例集上进一步训练，使用了BioLang数据集。

预期用途与限制

使用方法

此模型的主要用途是针对下游任务进行微调，尤其是标记分类任务。

快速检查模型在填空任务中的表现：

from transformers import pipeline, RobertaTokenizerFast
tokenizer = RobertaTokenizerFast.from_pretrained('roberta-base', max_len=512)
text = "让我们试试这个模型，看看它是否<mask>。"
fill_mask = pipeline(
    "fill-mask",
    model='EMBO/bio-lm',
    tokenizer=tokenizer
)
fill_mask(text)

限制与偏差

此模型需针对特定任务（如标记分类）进行微调。使用时必须搭配roberta-base分词器。

训练数据

模型通过掩码语言建模任务在BioLang数据集上训练，该数据集包含1200万条来自生命科学领域论文摘要和图表说明的样本。

训练过程

训练在配备4块Tesla V100 GPU的NVIDIA DGX Station上运行。

训练代码详见：https://github.com/source-data/soda-roberta

• 命令：python -m lm.train /data/json/oapmc_abstracts_figs/ MLM
• 分词器词汇量：50265
• 训练数据：EMBO/biolang MLM
• 训练样本数：12005390条
• 验证样本数：36713条
• 训练轮次：3.0
• 单设备训练批次大小：16
• 单设备评估批次大小：16
• 学习率：5e-05
• 权重衰减：0.0
• Adam beta1参数：0.9
• Adam beta2参数：0.999
• Adam epsilon参数：1e-08
• 最大梯度范数：1.0
• TensorBoard运行记录：lm-MLM-2021-01-27T15-17-43.113766

训练结束时指标：

训练集：'loss': 0.8653350830078125
验证集：'eval_loss': 0.8192330598831177, 'eval_recall': 0.8154601116513597

评估结果

测试集评估：

召回率：0.814471959728645