语言:

• 英语 许可证: MIT 标签:
• 由训练器生成 数据集:
• surrey-nlp/PLOD-unfiltered 评估指标:
• 精确率
• 召回率
• F1值
• 准确率 模型创建者:
• Leonardo Zilio, Hadeel Saadany, Prashant Sharma, Diptesh Kanojia, Constantin Orasan 示例输入:
• 文本: 由碳氢化合物氧化产生的轻质溶解无机碳(DIC)。
• 文本: 图1中绘制了听觉皮层背侧区(DZ)部分神经元的RAF。
• 文本: 图像使用升级了回波平面成像(EPI)功能的GE 3.0T MRI扫描仪获取。 基础模型: roberta-large 模型索引:
• 名称: roberta-large-finetuned-ner 结果:
  • 任务: 类型: 令牌分类 名称: 令牌分类 数据集: 名称: surrey-nlp/PLOD-unfiltered 类型: 令牌分类 参数: PLODunfiltered 评估指标:
    • 类型: 精确率 值: 0.9662545190541101 名称: 精确率
    • 类型: 召回率 值: 0.9627013733169376 名称: 召回率
    • 类型: F1值 值: 0.9644746737300262 名称: F1值
    • 类型: 准确率 值: 0.9607518572002093 名称: 准确率

roberta-large-finetuned-ner

该模型是基于roberta-large在PLOD-unfiltered数据集上微调的版本。 在评估集上取得了以下结果:

• 损失: 0.1393
• 精确率: 0.9663
• 召回率: 0.9627
• F1值: 0.9645
• 准确率: 0.9608

模型描述

RoBERTa是一种在大量英语语料上以自监督方式预训练的transformers模型。这意味着它仅对原始文本进行预训练，没有任何人工标注（因此可以利用大量公开可用的数据），并通过自动过程从这些文本生成输入和标签。

更准确地说，它是通过掩码语言建模（MLM）目标进行预训练的。模型随机掩码输入句子中15%的单词，然后将整个掩码后的句子通过模型，并预测被掩码的单词。这与传统的循环神经网络（RNN）逐个查看单词的方式不同，也与像GPT这样在内部掩码未来标记的自回归模型不同。它允许模型学习句子的双向表示。

通过这种方式，模型学习到英语语言的内在表示，然后可以用于提取对下游任务有用的特征：例如，如果你有一个标注句子的数据集，你可以使用BERT模型生成的特征作为输入来训练标准分类器。

预期用途与限制

需要更多信息

训练与评估数据

该模型使用PLOD-Unfiltered数据集进行微调。该数据集用于模型的训练和评估。PLOD数据集发表于LREC 2022，可用于构建缩写检测任务的序列标注模型。

训练过程

训练超参数

训练过程中使用了以下超参数:

• 学习率: 2e-05
• 训练批次大小: 8
• 评估批次大小: 4
• 随机种子: 42
• 优化器: Adam，参数为betas=(0.9,0.999)和epsilon=1e-08
• 学习率调度器类型: 线性
• 训练轮数: 6

训练结果

框架版本

• Transformers 4.18.0
• Pytorch 1.10.1+cu111
• Datasets 2.1.0
• Tokenizers 0.12.1