license: apache-2.0
datasets:

• EleutherAI/the_pile_deduplicated
  language:
• en

混合RetNet模型

本模型为RetNet架构实现，相关论文详见《跨架构迁移学习实现线性计算成本推理的Transformer》。
在这项工作中，我们提出不从头训练新的线性计算成本推理模型（如RetNet），而是从其他预训练语言模型中迁移共享权重组件。
该模型的输入/输出嵌入层、MLP权重、层归一化模块及注意力输出投影矩阵（$W_O$）均迁移自pythia-410m模型。更多细节请参阅论文。

模型详情

模型描述

• 开发机构: NucleusAI, 崔世贤
• 模型类型: RetNet与Transformer混合架构

模型来源

• 代码仓库: RetNet-XATL
• 论文: 《跨架构迁移学习实现线性计算成本推理的Transformer》

快速使用指南

通过以下代码快速加载模型：

import torch  
from transformers import AutoModelForCausalLM, AutoTokenizer  

torch.set_default_device("cuda")  

model = AutoModelForCausalLM.from_pretrained("NucleusAI/RetNet-410m-XATL", torch_dtype="auto", trust_remote_code=True)  
tokenizer = AutoTokenizer.from_pretrained("NucleusAI/RetNet-410m-XATL", trust_remote_code=True)  # 与EleutherAI/pythia-1B相同  

inputs = tokenizer("你好！", return_tensors="pt", return_attention_mask=False)  

outputs = model.generate(**inputs, max_length=200)  
text = tokenizer.batch_decode(outputs)[0]  
print(text)  

训练数据

为便于与同规模pythia模型对比，本模型使用pile_dedup数据集进行训练。