许可证：apache-2.0
数据集：

• EleutherAI/the_pile_deduplicated
  语言：
• en
  评估指标：
• accuracy
  基础模型：
• BlinkDL/rwkv-7-pile
  任务标签：text-generation
  库名称：transformers

rwkv7-168M-pile

这是采用闪存线性注意力格式的RWKV-7模型。

模型详情

模型描述

• 开发团队： 彭博、张宇、杨松林、张瑞冲
• 资助方： RWKV项目（隶属LF AI & Data基金会）
• 模型类型： RWKV7
• 支持语言（NLP）： 英语
• 许可证： Apache-2.0
• 参数量： 1.68亿
• 分词器： GPT-NeoX 20B分词器

模型来源

• 代码库： https://github.com/fla-org/flash-linear-attention ; https://github.com/BlinkDL/RWKV-LM
• 论文： RWKV-7 "Goose" with Expressive Dynamic State Evolution
• 权重文件： 从https://modelscope.cn/models/RWKV/rwkv-7-pile/file/view/master?fileName=RWKV-x070-Pile-168M-20241120-ctx4096.pth转换

使用场景

使用前请安装flash-linear-attention<=0.1.2及最新版transformers：

pip install --no-use-pep517 flash-linear-attention==0.1.2  
pip install 'transformers>=4.48.0'  

直接使用

可像其他HuggingFace模型一样调用：

from transformers import AutoModelForCausalLM, AutoTokenizer  
model = AutoModelForCausalLM.from_pretrained('fla-hub/rwkv7-168M-pile', trust_remote_code=True)  
tokenizer = AutoTokenizer.from_pretrained('fla-hub/rwkv7-168M-pile', trust_remote_code=True)  

训练详情

训练数据

该模型基于Pile数据集训练，总训练token数达3320亿。

训练超参数

• 训练配置： bfloat16格式，学习率8e-4至3e-5余弦衰减，权重衰减0.1，批量大小8x30x4096

评估

评估指标

lambada_openai：困惑度14.2，准确率45.6%

piqa：准确率65.5%

常见问题

问：safetensors元数据显示为None

答：升级transformers至>=4.48.0版本：pip install 'transformers>=4.48.0'