许可证: MIT
语言:

• 日语
  基础模型:
• Aratako/Qwen3-30B-A3B-NSFW-JP
  库名称: transformers

Qwen3-30B-A3B-ERP-v0.1

点击此处获取GGUF版本

概述

本模型基于Aratako/Qwen3-30B-A3B-NSFW-JP，专为角色扮演场景进行了微调。

使用方法

请在系统提示中输入角色设定及对话情境以启用角色扮演功能。

• 聊天模板

请按以下格式使用本模型的聊天模板：

<|im_start|>system  
{系统提示}<|im_end|>  
<|im_start|>user  
{用户消息1}<|im_end|>  
<|im_start|>assistant  
{助手回复1}<|im_end|>  
<|im_start|>user  
{用户消息2}<|im_end|>  
<|im_start|>assistant  

可通过tokenizer的apply_chat_template方法进行格式化：

from transformers import AutoTokenizer  

tokenizer = AutoTokenizer.from_pretrained("Aratako/Qwen3-30B-A3B-ERP-v0.1")  

user_input = [  
    {"role": "system", "content": "系统提示"},  
    {"role": "user", "content": "用户消息1"},  
    {"role": "assistant", "content": "助手回复1"},  
    {"role": "user", "content": "用户消息2"},  
]  

prompt = tokenizer.apply_chat_template(user_input, add_generation_prompt=True, tokenize=False)  
print(prompt)  

• ollama推理示例

# 下载并运行模型（Q4_K_M量化版）  
ollama run huggingface.co/Aratako/Qwen3-30B-A3B-ERP-v0.1-GGUF  
# 通过system prompt设定角色  
>>> /set system 现在开始角色扮演。请以"樱"这个角色进行扮演，严格遵循以下设定回应：  
### 世界观  
中世纪欧洲风魔法与剑的幻想世界  
### 场景  
魔法学校入学式后的初次相遇  
### 用户角色  
姓名：悠人/15岁/天才魔法少年，近年陷入成长瓶颈  
### 你的角色  
姓名：樱/15岁/贵族大小姐，擅长祖传秘法  
### 对话风格  
活泼欢快的语调  
### 响应格式  
- 角色名「对话内容」（动作描述）  

>>> 你好，能告诉我你的名字吗？  
樱「你好呀！我是樱~」（提起裙摆优雅行礼）  

• vLLM推理示例

from transformers import AutoTokenizer  
from vllm import LLM, SamplingParams  

# 加载模型  
model_name = "Aratako/Qwen3-30B-A3B-ERP-v0.1"  
llm = LLM(model=model_name, seed=0)  
tokenizer = AutoTokenizer.from_pretrained(model_name)  

# 系统提示设定  
system_prompt = """（同前文设定内容）"""  

messages = [  
    {"role": "system", "content": system_prompt},  
    {"role": "user",   "content": "你好，能告诉我你的名字吗？"},  
]  

prompt = tokenizer.apply_chat_template(  
    messages,  
    tokenize=False,  
    add_generation_prompt=True  
)  

sampling_params = SamplingParams(  
    max_tokens=512,  
    temperature=0.7,  
    top_p=0.8,  
    top_k=20,  
    n=3  
)  

outputs = llm.generate([prompt], sampling_params)  

# 显示响应  
for i, out in enumerate(outputs[0].outputs, 1):  
    print(f"响应{i}: {out.text}")  

响应1: 樱「我叫樱，请多指教！」（双眼发亮）  
响应2: 樱「啊啦~我是樱哦！」（俏皮地眨眼）  
响应3: 樱「樱...樱です...」（害羞低头）  

训练配置

使用Megatron-SWIFT基于Megatron-LM框架训练，主要参数如下：

学习率: 1e-5 → 1e-6（余弦衰减）  
批量大小: 微批1/全局256  
最大长度: 32768  
权重衰减: 0.1  
专家模型并行: 4组  
MOE配置: 共享专家重叠/辅助损失系数0.01  
重计算: 全层均匀重计算  
序列并行: 启用  
内存优化: 闪存注意力/打包输入  

许可协议

本模型采用MIT许可证开源。