标签:

• 长序列模型 语言: 多语言 许可证: Apache-2.0 数据集:
• 维基文本

XLM-R长序列模型

XLM-R长序列模型是基于XLM-R模型的扩展版本，支持最长4096个标记的序列处理（原版仅支持512个标记）。该模型以XLM-RoBERTa检查点为起点，采用长序列模型的预训练方案，在英文WikiText-103语料库上完成训练。

此项研究旨在探索为瑞典语等低资源语言构建高效Transformer模型的方法，无需针对每种语言单独进行长上下文数据集的预训练。该模型是Peltarion硕士论文项目的成果，并在多语言问答任务上进行了微调，相关代码可访问此仓库。

由于XLM-R和长序列模型均为大型模型，建议在NVIDIA Apex（16位精度）、大显存GPU环境下运行，并采用多梯度累积步骤。

使用指南

本模型可常规用于下游任务微调，例如问答场景：

import torch
from transformers import AutoModel, AutoTokenizer

最大序列长度 = 4096
模型路径 = "markussagen/xlm-roberta-longformer-base-4096"

分词器 = AutoTokenizer.from_pretrained(
    模型路径,
    max_length=最大序列长度,
    padding="max_length",
    truncation=True,
)

模型 = AutoModelForQuestionAnswering.from_pretrained(
    模型路径, 
    max_length=最大序列长度,
)

训练流程

模型在WikiText-103语料库上使用48GB显存GPU训练完成，关键参数如下。预训练共进行6000次迭代，耗时约5天。完整训练脚本和GitHub仓库提供更多细节。

wget https://s3.amazonaws.com/research.metamind.io/wikitext/wikitext-103-raw-v1.zip
unzip wikitext-103-raw-v1.zip   

export 数据目录=./wikitext-103-raw

scripts/run_long_lm.py \
    --模型初始路径 xlm-roberta-base \
    --模型名称 xlm-roberta转长序列 \
    --输出目录 ./output \
    --日志目录 ./logs \
    --验证文件路径 $数据目录/wiki.valid.raw \
    --训练文件路径 $数据目录/wiki.train.raw \
    --随机种子 42 \
    --最大位置编码 4096 \
    --优化器容差 1e-8 \
    --预热步数 500 \
    --学习率 3e-5 \
    --权重衰减 0.01 \
    --最大步数 6000 \
    --训练时评估 \
    --日志间隔 50步 \
    --评估间隔 50步 \
    --保存间隔 6000步 \
    --最大梯度范数 1.0 \
    --单设备评估批大小 2 \
    --单设备训练批大小 1 \
    --梯度累积步数 64 \
    --覆盖输出目录 \
    --启用16位精度 \
    --执行训练 \
    --执行评估