许可证：Apache-2.0
数据集：

• EleutherAI/the_pile_deduplicated
  语言：
• en（英语）
  评估指标：
• accuracy（准确率）
  基础模型：
• BlinkDL/rwkv-7-pile
  任务标签：
• text-generation（文本生成）
  库名称：
• transformers

rwkv7-1.47B-pile

这是采用闪存线性注意力（flash-linear attention）格式的RWKV-7模型。

模型详情

模型描述

• 开发团队： Bo Peng、Yu Zhang、Songlin Yang、Ruichong Zhang
• 资助方： RWKV项目（隶属于LF AI & Data基金会）
• 模型类型： RWKV7
• 支持语言（NLP）： 英语
• 许可证： Apache-2.0
• 参数量： 14.7亿
• 分词器： GPT-NeoX 20B分词器

模型来源

• 代码库： https://github.com/fla-org/flash-linear-attention ； https://github.com/BlinkDL/RWKV-LM
• 论文： RWKV-7 "Goose"：具有表现力动态状态演化的模型

用途

使用此模型前，请安装flash-linear-attention<=0.1.2和最新版transformers：

pip install --no-use-pep517 flash-linear-attention==0.1.2  
pip install 'transformers>=4.48.0'  

直接使用

您可以像使用其他HuggingFace模型一样使用此模型：

from transformers import AutoModelForCausalLM, AutoTokenizer  
model = AutoModelForCausalLM.from_pretrained('fla-hub/rwkv7-1.47B-pile', trust_remote_code=True)  
tokenizer = AutoTokenizer.from_pretrained('fla-hub/rwkv7-1.47B-pile', trust_remote_code=True)  

训练详情

训练数据

该模型在Pile数据集上训练，共使用了3320亿个token。

评估

指标

lambada_openai：困惑度4.80，准确率67.0%

piqa：准确率73.5%

常见问题

问：safetensors元数据显示为无。

答：请升级transformers至>=4.48.0版本：pip install 'transformers>=4.48.0'