标签:

• longformer 语言: 多语言 许可证: apache-2.0 数据集:
• wikitext

XLM-R长序列模型 / XLM-Long

XLM-R长序列模型（简称XLM-Long）是基于XLM-R模型扩展而来，支持最长4096个标记的序列处理（原模型仅支持512）。该模型以XLM-RoBERTa检查点为起点，采用Longformer的预训练方案，在英文WikiText-103语料库上进行训练。

研发此模型旨在探索为瑞典语等低资源语言构建高效Transformer的方法，无需针对每种语言单独进行长上下文数据集的预训练。该模型是Peltarion硕士论文项目的成果，并在多语言问答任务上进行了微调，相关代码已开源此处。

由于XLM-R和Longformer均为大型模型，建议在NVIDIA Apex（16位精度）、大显存GPU环境下运行，并采用多梯度累积步骤。

使用方法

本模型可直接用于下游任务微调，例如问答系统：

import torch
from transformers import AutoModel, AutoTokenizer

最大序列长度 = 4096
模型路径 = "markussagen/xlm-roberta-longformer-base-4096"

分词器 = AutoTokenizer.from_pretrained(
    模型路径,
    max_length=最大序列长度,
    padding="max_length",
    truncation=True,
)

模型 = AutoModelForQuestionAnswering.from_pretrained(
    模型路径, 
    max_length=最大序列长度,
)

训练过程

模型在WikiText-103语料库上使用48GB显存GPU训练，完整训练脚本和代码仓库详见链接。预训练共6000次迭代，耗时约5天，关键参数如下：

wget https://s3.amazonaws.com/research.metamind.io/wikitext/wikitext-103-raw-v1.zip
unzip wikitext-103-raw-v1.zip   

export 数据目录=./wikitext-103-raw

scripts/run_long_lm.py \
    --模型路径 xlm-roberta-base \
    --模型名称 xlm-roberta转长序列 \
    --输出目录 ./output \
    --日志目录 ./logs \
    --验证文件 $数据目录/wiki.valid.raw \
    --训练文件 $数据目录/wiki.train.raw \
    --随机种子 42 \
    --最大位置 4096 \
    --优化器epsilon值 1e-8 \
    --预热步数 500 \
    --学习率 3e-5 \
    --权重衰减 0.01 \
    --最大步数 6000 \
    --训练时验证 \
    --日志间隔 50步 \
    --验证间隔 50步 \
    --保存间隔 6000步 \
    --最大梯度范数 1.0 \
    --单设备验证批次 2 \
    --单设备训练批次 1 \
    --梯度累积步数 64 \
    --覆盖输出目录 \
    --启用16位精度 \
    --执行训练 \
    --执行验证