Rwkv Raven 1b5

由 RWKV 开发

RWKV是一种结合RNN和Transformer优势的大语言模型，支持高效训练和快速推理，具备无限上下文长度处理能力。

大型语言模型

Transformers

#RNN-Transformer混合架构 #无限上下文长度 #中文对话优化

下载量 428

发布时间 : 5/4/2023

模型介绍

内容详情

替代品

模型简介

RWKV-4 Raven是一个15亿参数的大语言模型，采用独特的RNN与Transformer混合架构，专为聊天和文本生成任务优化。

模型特点

混合架构优势

结合RNN的高效性和Transformer的强大性能，支持并行训练和快速推理

无限上下文长度

得益于RNN特性，理论上可处理无限长度的上下文

高效资源利用

相比传统Transformer模型，训练和推理时更节省显存

模型能力

中文文本生成

对话系统

长文本处理

使用案例

对话系统

智能聊天机器人

构建能进行自然对话的中文聊天机器人

可生成流畅、符合上下文的中文回复

内容创作

故事续写

根据给定开头自动生成连贯的故事内容

能生成富有想象力的故事情节

数据集:

EleutherAI/pile

RWKV-4 | 15亿参数聊天版模型卡片 (Raven)

RWKV是由Bo Peng主导的项目。您可以通过Johan Wind的博客文章此处和此处深入了解模型架构。加入RWKV Discord服务器获取项目最新动态。

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("RWKV/rwkv-raven-1b5")
tokenizer = AutoTokenizer.from_pretrained("RWKV/rwkv-raven-1b5")

prompt = "\n科学家在西藏偏远山谷发现龙群栖息地，更令人惊讶的是这些龙能说流利中文。"

inputs = tokenizer(prompt, return_tensors="pt")
output = model.generate(inputs["input_ids"], max_new_tokens=40)
print(tokenizer.decode(output[0].tolist(), skip_special_tokens=True))

单GPU运行

点击展开

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("RWKV/rwkv-raven-1b5").to(0)
tokenizer = AutoTokenizer.from_pretrained("RWKV/rwkv-raven-1b5")

prompt = "\n科学家在西藏偏远山谷发现龙群栖息地，更令人惊讶的是这些龙能说流利中文。"

inputs = tokenizer(prompt, return_tensors="pt").to(0)
output = model.generate(inputs["input_ids"], max_new_tokens=40)
print(tokenizer.decode(output[0].tolist(), skip_special_tokens=True))

GPU半精度运行

点击展开

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("RWKV/rwkv-raven-1b5", torch_dtype=torch.float16).to(0)
tokenizer = AutoTokenizer.from_pretrained("RWKV/rwkv-raven-1b5")

prompt = "\n科学家在西藏偏远山谷发现龙群栖息地，更令人惊讶的是这些龙能说流利中文。"

inputs = tokenizer(prompt, return_tensors="pt").to(0)
output = model.generate(inputs["input_ids"], max_new_tokens=40)
print(tokenizer.decode(output[0].tolist(), skip_special_tokens=True))

多GPU运行

点击展开

# 需安装accelerate包
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("RWKV/rwkv-raven-1b5", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("RWKV/rwkv-raven-1b5")

prompt = "\n科学家在西藏偏远山谷发现龙群栖息地，更令人惊讶的是这些龙能说流利中文。"

inputs = tokenizer(prompt, return_tensors="pt").to(0)
output = model.generate(inputs["input_ids"], max_new_tokens=40)
print(tokenizer.decode(output[0].tolist(), skip_special_tokens=True))