基于西班牙国家图书馆（BNE）数据训练的长文本模型（Longformer）

目录

模型描述

longformer-base-4096-bne-es是基于Longformer架构的西班牙语掩码语言模型，其前身为roberta-base-bne模型。该模型能够处理更长的上下文输入而无需额外聚合策略，其预训练过程始于roberta-base-bne检查点，并在西班牙国家图书馆的长文档上进行了掩码语言建模训练。

Longformer采用滑动窗口（局部）注意力与全局注意力相结合的机制，用户可根据具体任务配置全局注意力模式。详见原始论文。

关于语料库、预训练及评估的详细信息，请参阅官方代码库。

使用场景与限制

longformer-base-4096-bne-es模型当前可直接用于掩码语言建模任务（可通过推理API或下文示例体验填充掩码功能）。

该模型主要适用于经过微调的下游非生成式任务，如问答系统、文本分类或命名实体识别。

使用方法

from transformers import AutoModelForMaskedLM
from transformers import AutoTokenizer, FillMaskPipeline
from pprint import pprint
tokenizer_hf = AutoTokenizer.from_pretrained('PlanTL-GOB-ES/longformer-base-4096-bne-es')
model = AutoModelForMaskedLM.from_pretrained('PlanTL-GOB-ES/longformer-base-4096-bne-es')
model.eval()
pipeline = FillMaskPipeline(model, tokenizer_hf)
text = f"Hay base legal dentro del marco <mask> actual."
res_hf = pipeline(text)
pprint([r['token_str'] for r in res_hf])

局限性与偏差

当前版本尚未进行偏差与毒性评估。需要注意的是，由于训练语料来自多源网络爬取，模型可能存在潜在偏差。相关研究将在未来开展，届时将更新本说明文档。

训练过程

训练语料与预处理

西班牙国家图书馆每年爬取所有.es域名数据。训练语料包含2009至2019年间59TB的WARC文件。

预处理流程包括：分句处理、语言检测、异常语句过滤、内容去重等操作，最终获得2TB高质量西班牙语语料。经全局去重后保留570GB文本。

语料统计信息：

本模型使用包含7.2GB文档（长度<4096词元）的随机子集进行训练。

分词与预训练

采用原始RoBERTA模型的字节级BPE分词器（词表大小50,262）。预训练遵循RoBERTa-base方案，在8个计算节点（各含2块32GB显存的AMDM I50 GPU）上耗时40小时完成。

评估结果

微调后的下游任务表现：

附加信息

作者

巴塞罗那超级计算中心文本挖掘单元（bsc-temu@bsc.es）

联系方式

plantl-gob-es@bsc.es

版权声明

西班牙数字化与人工智能国务秘书处（SEDIA）版权所有（2022）

许可信息

Apache 2.0许可证

资助方

本项目由西班牙数字化与人工智能国务秘书处（SEDIA）在Plan-TL计划框架下资助

免责声明