语言:

• 西班牙语

许可证: Apache-2.0

标签:

• "西班牙国家图书馆"
• "西班牙语"
• "BNE"
• "CAPITEL"
• "词性标注"

数据集:

• "BNE"
• "CAPITEL"

评估指标:

• "F1值"

推理参数: 聚合策略: "first"

模型索引:

• 名称: roberta-large-bne-capiter-pos 结果:
  • 任务类型: 词性标注 数据集类型: CAPITEL-POS 指标:
    • 名称: F1值 类型: f1 值: 0.986

示例文本:

• "圣塞巴斯蒂安电影节：约翰尼·德普将在与艾梅柏·希尔德的法律纠纷中荣获多诺斯蒂亚奖"
• "维戈市长阿贝尔·卡瓦列罗已于八月开始布置圣诞灯饰。"
• "得益于西班牙国家图书馆的数据，我们才能实现这一语言模型。"

基于BNE训练的西班牙语RoBERTa-large模型，针对CAPITEL词性标注数据集的微调版本

目录

模型描述

roberta-large-bne-capitel-pos是一个西班牙语词性标注(POS)模型，基于roberta-large-bne模型微调而成。该基础模型采用RoBERTa架构，使用迄今为止最大的西班牙语语料库（570GB经清洗和去重的文本）进行预训练，语料来源于2009至2019年间西班牙国家图书馆的网络爬取数据。

使用场景

本模型适用于西班牙语文本的词性标注任务。其性能受限于训练数据，可能无法覆盖所有使用场景。

使用方法

from transformers import pipeline
from pprint import pprint

nlp = pipeline("token-classification", model="PlanTL-GOB-ES/roberta-large-bne-capitel-pos")
example = "维戈市长阿贝尔·卡瓦列罗已于八月开始布置圣诞灯饰。"

pos_results = nlp(example)
pprint(pos_results)

局限性

目前尚未对模型潜在的偏差进行系统评估。需要注意的是，由于训练数据来自网络爬取，模型可能包含某些偏见。我们计划未来开展相关研究并更新模型卡。

训练过程

使用IberLEF 2020 CAPITEL竞赛的子任务2数据集进行训练。

训练参数

• 批次大小: 16
• 学习率: 3e-5
• 训练轮次: 5
• 根据开发集指标选择最佳检查点

评估结果

对比基准

在CAPITEL-POS测试集上的F1得分对比：

更多细节参见GitHub仓库。

补充信息

作者

巴塞罗那超级计算中心文本挖掘单元(bsc-temu@bsc.es)

联系方式

plantl-gob-es@bsc.es

版权

西班牙数字化与人工智能国务秘书处(SEDIA)(2022)

许可协议

Apache License 2.0

资助方

西班牙数字化与人工智能国务秘书处(SEDIA) Plan-TL计划

引用方式

@article{,
   author = {Asier Gutiérrez Fandiño等},
   title = {MarIA: 西班牙语语言模型},
   journal = {自然语言处理},
   year = {2022},
   doi = {10.26342/2022-68-3}
}

免责声明

本模型可能存在偏见或其他缺陷。使用者应自行承担风险并遵守相关法规。模型所有者(SEDIA)和创建者(BSC)不承担第三方使用导致的任何后果。