Rwkv 4 169m Pile

由 RWKV 开发

RWKV-4是一种融合RNN与Transformer优势的大语言模型，具备高性能、快速推理和高效训练特点

大型语言模型

Transformers

#RNN-Transformer混合架构 #高效长文本处理 #中文语言生成

下载量 5,698

发布时间 : 5/4/2023

模型介绍

内容详情

替代品

模型简介

RWKV-4是一种创新的语言模型架构，结合了RNN的高效性和Transformer的强大性能，支持无限上下文长度和免费句子嵌入

模型特点

RNN与Transformer融合

结合RNN的高效序列处理和Transformer的并行训练优势

高效推理

相比传统Transformer模型具有更快的推理速度和更低的显存需求

无限上下文长度

得益于RNN架构特性，理论上支持无限长度的上下文处理

免费句子嵌入

可免费获取高质量的句子级别嵌入表示

模型能力

文本生成

语言建模

句子嵌入提取

使用案例

内容创作

故事续写

根据给定开头自动生成连贯的故事内容

示例中展示了流畅的中文故事续写能力

对话系统

聊天机器人

构建流畅的对话交互系统

数据集:

EleutherAI/pile

RWK标志.png

RWKV-4模型卡片 | 基于Pile数据集训练的1.69亿参数模型

RWKV是由Bo Peng主导的项目。您可以通过Johan Wind的博客文章此处和此处了解更多关于模型架构的信息。加入RWKV Discord服务器可获取项目最新动态。

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("RWKV/rwkv-4-169m-pile")
tokenizer = AutoTokenizer.from_pretrained("RWKV/rwkv-4-169m-pile")

prompt = "\n科学家在西藏一个偏远未开发的山谷中发现了一群龙，这一惊人发现令世人震惊。更让研究人员惊讶的是，这些龙能说一口流利的中文。"

inputs = tokenizer(prompt, return_tensors="pt")
output = model.generate(inputs["input_ids"], max_new_tokens=40)
print(tokenizer.decode(output[0].tolist(), skip_special_tokens=True))

单GPU运行

点击展开

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("RWKV/rwkv-4-169m-pile").to(0)
tokenizer = AutoTokenizer.from_pretrained("RWKV/rwkv-4-169m-pile")

prompt = "\n科学家在西藏一个偏远未开发的山谷中发现了一群龙，这一惊人发现令世人震惊。更让研究人员惊讶的是，这些龙能说一口流利的中文。"

inputs = tokenizer(prompt, return_tensors="pt").to(0)
output = model.generate(inputs["input_ids"], max_new_tokens=40)
print(tokenizer.decode(output[0].tolist(), skip_special_tokens=True))

GPU半精度运行

点击展开

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("RWKV/rwkv-4-169m-pile", torch_dtype=torch.float16).to(0)
tokenizer = AutoTokenizer.from_pretrained("RWKV/rwkv-4-169m-pile")

prompt = "\n科学家在西藏一个偏远未开发的山谷中发现了一群龙，这一惊人发现令世人震惊。更让研究人员惊讶的是，这些龙能说一口流利的中文。"

inputs = tokenizer(prompt, return_tensors="pt").to(0)
output = model.generate(inputs["input_ids"], max_new_tokens=40)
print(tokenizer.decode(output[0].tolist(), skip_special_tokens=True))

多GPU运行

点击展开

# 需安装accelerate: pip install accelerate
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("RWKV/rwkv-4-169m-pile", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("RWKV/rwkv-4-169m-pile")

prompt = "\n科学家在西藏一个偏远未开发的山谷中发现了一群龙，这一惊人发现令世人震惊。更让研究人员惊讶的是，这些龙能说一口流利的中文。"

inputs = tokenizer(prompt, return_tensors="pt").to(0)
output = model.generate(inputs["input_ids"], max_new_tokens=40)
print(tokenizer.decode(output[0].tolist(), skip_special_tokens=True))