语言: 英语

许可证: MIT

微件示例:

• 文本: "巴黎是法国的。" 示例标题: "巴黎是法国的。"
• 文本: "人生的目标是。" 示例标题: "人生的目标是。"

roberta-新闻模型

模型描述

该模型是基于roberta-base微调而成，专门用于新闻文本的填空预测。

训练数据

模型训练数据包含来自约90家媒体的近1300万篇英语新闻文章，每篇包含标题和副标题（描述）。这些文章采集自Sciride新闻矿，后续进行了数据清洗，包括去除重复文章以及清除标题前后重复出现的"媒体标签"（如"| Daily Mail Online"）。

清洗后的数据集可在huggingface平台此处获取。roberta-gen-news模型在12,928,029/13,118,041的大规模子集上进行了预训练，并对数据进行了重组以避免突然截断。

使用方法

可通过HuggingFace管道如下使用该模型：

>>> from transformers import pipeline
>>> unmasker = pipeline('fill-mask', model='andyreas/roberta-gen-news')
>>> print(unmasker("天气预报显示<mask>会下雨。", top_k=5))

[{'得分': 0.06107175350189209, 
'标记': 1083, 
'标记文本': ' 周五', 
'完整句子': '天气预报显示周五会下雨。'}, 
{'得分': 0.04649643227458, 
'标记': 1359, 
'标记文本': ' 周六', 
'完整句子': '天气预报显示周六会下雨。'
}, 
{'得分': 0.04370906576514244, 
'标记': 1772, 
'标记文本': ' 周末', 
'完整句子': '天气预报显示周末会下雨。'}, 
{'得分': 0.04101456701755524, 
'标记': 1133, 
'标记文本': ' 周三', 
'完整句子': '天气预报显示周三会下雨。'}, 
{'得分': 0.03785591572523117, 
'标记': 1234, 
'标记文本': ' 周日', 
'完整句子': '天气预报显示周日会下雨。'}]

训练过程

模型以2e-6的学习率训练了1个周期，在总计约80万步中进行了5万步的热身训练。

偏差说明

与其他模型类似，roberta-gen-news会根据其训练数据产生相应的偏差。