语言:

• 瑞典语
• 挪威语
• 丹麦语
• 英语

许可证: MIT

标签:

• BERT
• RoBERTa

管道标签: 填充掩码

微件示例:

• 文本: "瑞典的首都是。" 示例标题: 瑞典语
• 文本: "挪威的首都是。" 示例标题: 挪威语
• 文本: "丹麦的首都是。" 示例标题: 丹麦语

roberta-large-1160k

用途说明

该模型可直接用于掩码语言建模，但更推荐在下游任务中进行微调使用。

使用方法

可通过pipeline直接进行掩码预测:

>>> from transformers import pipeline
>>> unmasker = pipeline('fill-mask', model='AI-Sweden-Models/roberta-large-1160k')
>>> unmasker("瑞典的首都是<mask>。")
[{'得分': 0.5841221213340759,
  '标记': 1945,
  '标记文本': '斯德哥尔摩',
  '序列': '瑞典的首都是斯德哥尔摩。'},
 ...其他预测结果]

PyTorch特征提取示例:

from transformers import RobertaTokenizer, RobertaModel
tokenizer = RobertaTokenizer.from_pretrained('AI-Sweden-Models/roberta-large-1160k')
model = RobertaModel.from_pretrained('AI-Sweden-Models/roberta-large-1160k')
text = "输入任意文本"
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

训练数据

使用北欧语料库(Scandinavian subset of the Nordic Pile)中的瑞典语、挪威语和丹麦语数据，包含414,962,688个文本样本。

训练过程

• 使用optimum-habana框架训练
• 基于8块Intel® Gaudi® 2 AI加速器(由Intel瑞典公司提供支持)
• 以FacebookAI的roberta-large权重初始化
• 当前检查点为1,160,000/1,350,790步(第4.29轮)
• 批次大小1536
• 总训练轮数5轮

评估结果

在下游任务微调后表现(截至2024/03/26):

• 在ScandEval瑞典语NLU榜单排名第二(仅次于GPT-4-0613)
• 各语言任务得分: | 排名 | 丹麦语 | 挪威语 | 瑞典语 | 具体任务表现... |