语言: 英语

许可证: MIT

微件示例:

• 文本: "巴黎是法国的。" 示例标题: "巴黎是法国的。"
• 文本: "人生的目标是。" 示例标题: "人生的目标是。"

roberta-news新闻模型

模型描述

该模型与roberta-base类似，共享相同的规模、架构、分词算法和掩码语言建模目标。RobertaForMaskedLM模型的参数经过随机初始化，并仅使用新闻数据集从头开始预训练。

训练数据

模型的训练数据包含来自约90家媒体的近1300万篇英语新闻，每篇新闻包含标题和副标题。这些文章采集自Sciride新闻矿场，随后对数据进行了额外清洗，例如去除重复文章以及清除标题前后重复出现的"媒体标签"（如"| Daily Mail Online"）。

清洗后的数据集可在huggingface上此处找到。roberta-news模型在链接数据集的大部分子集（12,928,029/13,118,041）上进行了预训练，同时对数据进行了重新打包以避免突然截断。

使用方法

可通过HuggingFace的pipeline使用该模型，如下所示：

>>> from transformers import pipeline
>>> unmasker = pipeline('fill-mask', model='andyreas/roberta-gen-news')
>>> print(unmasker("The weather forecast for <mask> is rain.", top_k=5))

[{'score': 0.06107175350189209, 
'token': 1083, 
'token_str': ' Friday', 
'sequence': 'The weather forecast for Friday is rain.'}, 
{'score': 0.04649643227458, 
'token': 1359, 
'token_str': ' Saturday', 
'sequence': 'The weather forecast for Saturday is rain.'
}, 
{'score': 0.04370906576514244, 
'token': 1772, 
'token_str': ' weekend', 
'sequence': 'The weather forecast for weekend is rain.'}, 
{'score': 0.04101456701755524, 
'token': 1133, 
'token_str': ' Wednesday', 
'sequence': 'The weather forecast for Wednesday is rain.'}, 
{'score': 0.03785591572523117, 
'token': 1234, 
'token_str': ' Sunday', 
'sequence': 'The weather forecast for Sunday is rain.'}]

训练过程

训练运行了约3个epoch，学习率为2e-5，在总计约2450K步中进行了50K步的预热。

偏见提示

与其他模型一样，roberta-news会根据其训练数据存在偏见。