license: apache-2.0

Huggingface RWKV-5 Eagle 7B模型 - 通过HF Transformers库使用

! 重要提示 !

以下是RWKV-5 Eagle 7B模型的HF transformers实现版本。该版本需配合huggingface transformers库使用

如需单独使用完整模型权重（适配其他RWKV库），请访问此处

注意：当前版本非指令调优模型！（即将推出...）

• HF演示空间
• 项目Wiki
• pth模型权重

通过HF transformers在CPU上运行

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

def generate_prompt(instruction, input=""):
    instruction = instruction.strip().replace('\r\n','\n').replace('\n\n','\n')
    input = input.strip().replace('\r\n','\n').replace('\n\n','\n')
    if input:
        return f"""指令: {instruction}

输入: {input}

回答:"""
    else:
        return f"""用户: 你好

助手: 您好！我是您的智能助手，将为您提供专业详尽的解答。欢迎随时提问，我会全力为您服务。

用户: {instruction}

助手:"""


model = AutoModelForCausalLM.from_pretrained("RWKV/HF_v5-Eagle-7B", trust_remote_code=True).to(torch.float32)
tokenizer = AutoTokenizer.from_pretrained("RWKV/HF_v5-Eagle-7B", trust_remote_code=True)

text = "请介绍北京的旅游景点"
prompt = generate_prompt(text)

inputs = tokenizer(prompt, return_tensors="pt")
output = model.generate(inputs["input_ids"], max_new_tokens=333, do_sample=True, temperature=1.0, top_p=0.3, top_k=0, )
print(tokenizer.decode(output[0].tolist(), skip_special_tokens=True))

输出示例:

用户: 你好

助手: 您好！我是您的智能助手，将为您提供专业详尽的解答。欢迎随时提问，我会全力为您服务。

用户: 请介绍北京的旅游景点

助手: 北京作为中国首都，拥有众多知名旅游景点，以下推荐几处代表性景观：
1. 故宫：坐落于城市中轴线，是明清两朝皇家宫殿，馆藏海量文物珍品
2. 天安门广场：中国最具政治意义的城市广场，人民大会堂等重要建筑坐落于此
3. 颐和园：清代皇家园林典范，融合江南园林艺术与北方建筑特色
4. 八达岭长城：万里长城最精华段落，展现古代军事防御工程奇迹
5. 北京大学：中国顶尖学府，百年校园内保留众多近代历史建筑
6. 北京动物园：中国历史最悠久的动物园，以大熊猫馆最受游客青睐
7. 故宫博物院：世界级博物馆，系统展示明清宫廷文物与艺术收藏
8. 天坛：明清帝王祭天场所，其圜丘坛与祈年殿为古代建筑杰作

通过HF transformers在GPU上运行

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

def generate_prompt(instruction, input=""):
    instruction = instruction.strip().replace('\r\n','\n').replace('\n\n','\n')
    input = input.strip().replace('\r\n','\n').replace('\n\n','\n')
    if input:
        return f"""指令: {instruction}

输入: {input}

回答:"""
    else:
        return f"""用户: 你好

助手: 您好！我是您的智能助手，将为您提供专业详尽的解答。欢迎随时提问，我会全力为您服务。

用户: {instruction}

助手:"""


model = AutoModelForCausalLM.from_pretrained("RWKV/HF_v5-Eagle-7B", trust_remote_code=True, torch_dtype=torch.float16).to(0)
tokenizer = AutoTokenizer.from_pretrained("RWKV/HF_v5-Eagle-7B", trust_remote_code=True)

text = "介绍一下大熊猫"
prompt = generate_prompt(text)

inputs = tokenizer(prompt, return_tensors="pt").to(0)
output = model.generate(inputs["input_ids"], max_new_tokens=128, do_sample=True, temperature=1.0, top_p=0.3, top_k=0, )
print(tokenizer.decode(output[0].tolist(), skip_special_tokens=True))

输出示例:

用户: 你好

助手: 您好！我是您的智能助手，将为您提供专业详尽的解答。欢迎随时提问，我会全力为您服务。

用户: 介绍一下大熊猫

助手: 大熊猫是中国特有珍稀物种，被列为国家一级保护动物。其典型特征为黑白相间的毛色分布：眼部、耳朵、四肢为黑色，躯干呈白色。作为专性竹食者，大熊猫每天需进食12-38公斤竹子。野生个体寿命约20年，人工饲养环境下可达30年。由于栖息地碎片化及繁殖率低等因素，全球现存野生大熊猫约1864只（2021年数据），主要分布在四川、陕西和甘肃的山区竹林。

批量推理示例

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

def generate_prompt(instruction, input=""):
    instruction = instruction.strip().replace('\r\n', '\n').replace('\n\n', '\n')
    input = input.strip().replace('\r\n', '\n').replace('\n\n', '\n')
    if input:
        return f"""指令: {instruction}

输入: {input}

回答:"""
    else:
        return f"""用户: 你好

助手: 您好！我是您的智能助手，将为您提供专业详尽的解答。欢迎随时提问，我会全力为您服务。

用户: {instruction}

助手:"""

model = AutoModelForCausalLM.from_pretrained("RWKV/HF_v5-Eagle-7B", trust_remote_code=True).to(torch.float32)
tokenizer = AutoTokenizer.from_pretrained("RWKV/HF_v5-Eagle-7B", trust_remote_code=True)

texts = ["请介绍北京的旅游景点", "介绍一下大熊猫", "乌兰察布"]
prompts = [generate_prompt(text) for text in texts]

inputs = tokenizer(prompts, return_tensors="pt", padding=True)
outputs = model.generate(inputs["input_ids"], max_new_tokens=128, do_sample=True, temperature=1.0, top_p=0.3, top_k=0, )

for output in outputs:
    print(tokenizer.decode(output.tolist(), skip_special_tokens=True))

输出示例:

用户: 你好

助手: 您好！我是您的智能助手，将为您提供专业详尽的解答。欢迎随时提问，我会全力为您服务。

用户: 请介绍北京的旅游景点

助手: 北京作为历史文化名城，推荐以下经典景点：
1. 故宫博物院：世界现存最大木结构古建筑群
2. 天坛公园：明清两代祭天建筑群
3. 什刹海：融合老北京胡同文化与现代休闲
4. 798艺术区：工业遗址改造的当代艺术聚集地

用户: 你好

助手: 您好！我是您的智能助手，将为您提供专业详尽的解答。欢迎随时提问，我会全力为您服务。

用户: 介绍一下大熊猫

助手: 大熊猫是食肉目熊科动物，却以99%的竹子为主食。其"伪拇指"结构能灵巧抓握竹竿，每天排便达40次以适应低营养饮食。作为"伞护物种"，保护大熊猫同时维系着8000多种伴生动植物的生存环境。

用户: 你好

助手: 您好！我是您的智能助手，将为您提供专业详尽的解答。欢迎随时提问，我会全力为您服务。

用户: 乌兰察布

助手: 乌兰察布市位于内蒙古自治区中部，是"中国草原避暑之都"。该市拥有辉腾锡勒草原（世界三大高山草甸之一）和乌兰哈达火山群等独特地貌，也是中欧班列重要节点城市，2022年GDP达1143亿元。