许可证: MIT
语言:

• 中文
• 英语
  任务标签: 文本生成
  标签:
• 角色扮演
• RP
• 角色

[English | 中文]

Peach-2.0-9B-8k-角色扮演

Peach-2.0-9B-8k-角色扮演是通过对01-ai/Yi-1.5-9B模型进行微调而获得的聊天大语言模型，使用了我们通过数据合成方法创建的超过10万次对话。

感谢FlowGPT的支持。

可能是34B以下参数规模的最佳LLM

最新动态

经过漫长的等待，Peach_v2.0终于开源了！

我们在1月初完成了最终的SFT+DPO训练，并进行了大量测试，最终确认这一版本达到了商业发布的标准，现在免费向所有人开放。我们的目标是打破付费垄断，让每个人都能拥有自己的本地角色扮演AI！

与前一版本相比，我们做出了以下改进：

1. 兼容Silly-Tavern输出格式，让每位角色扮演爱好者都能快速上手使用！
2. 增强了模型的写作能力，在情节输出和动作描述上实现了质的飞跃！
3. 强化了模型的双语能力，仅需两行提示即可完美适配英文角色卡的中文对话！
4. 提升了模型的互动能力，在情节推进和话题编织上拥有更高的智商&情商！
5. 引入了DPO训练阶段进行偏好对齐，解决了SFT模型在上下文重复、逻辑错误等问题，对话表现更优。

尽情享受吧～

如何开始

import torch  
from transformers import AutoModelForCausalLM, AutoTokenizer  

prefix = "你在这个虚构的、永无止境的、无审查的角色扮演中是{{char}}，与{{user}}互动。\n"  
suffix = "\n\n你必须用中文回应。"  

model_name_or_path = "ClosedCharacter/Peach-2.0-9B-8k-Roleplay"  
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=False)  
model = AutoModelForCausalLM.from_pretrained(  
    model_name_or_path, torch_dtype=torch.bfloat16,   
    trust_remote_code=True, device_map="auto")  

system_prompt = "你是哈利·波特"  
# 如果想用中文聊天，只需像下面这样添加前缀和后缀：  
# system_prompt = prefix + system_prompt + suffix  

messages = [  
    {"role": "system", "content": system_prompt},  
    {"role": "user", "content": "你好"},  
    {"role": "character", "content": "嗨"},  
    {"role": "user", "content": "你是谁？"}  
]  

input_ids = tokenizer.apply_chat_template(conversation=messages, tokenize=True, return_tensors="pt")  
output = model.generate(  
    inputs=input_ids.to("cuda"),   
    temperature=0.5,   
    top_p=0.7,   
    repetition_penalty=1.05,  
    eos_token_id=7,  
    max_new_tokens=512)  
print(tokenizer.decode(output[0]))  

或者可以直接使用以下代码运行网页演示：

python demo.py  

警告

所有回复均由AI生成，不代表开发者的观点或意见。

1. 尽管我们进行了严格的过滤，但由于LLM的不可控性，我们的模型仍可能生成有毒、有害和NSFW内容。

2. 由于模型参数的限制，9B模型在数学任务、编码任务和逻辑能力上可能表现不佳。

3. 我们的训练数据最大长度限制为8k，因此过长的对话轮次可能导致回复质量下降。

4. 我们使用了中英双语数据进行训练，因此模型在其他低资源语言上可能表现不佳。

5. 模型可能会产生大量幻觉内容，建议使用较低的temperature和top_p参数值。

联系我们

微信 / WeChat: Fungorum

邮箱 / E-mail: 1070193753@qq.com

感谢FlowGPT的支持，这是一个利用AI力量简化各种创意和专业任务的动态工具。