license: apache-2.0 datasets:

• yuyouyu/BeyondDialogue language:
• zh
• en metrics:
• character base_model: mistralai/Mistral-Nemo-Instruct-2407 pipeline_tag: question-answering tags:
• text-generation-inference
• role-playing

Mistral-Nemo-BD-RP

模型介绍 🎉

Mistral-Nemo-BD-RP是基于BeyondDialogue数据集微调的大型语言模型(LLM)，专为角色扮演场景设计。该模型能生成中英文高质量对话响应，适用于多样化角色扮演情境。

详见我们的论文和GitHub。

训练细节 🚀

我们以128的全局批大小对Mistral-Nemo-Instruct-2407进行了3轮全参数微调（共833步）。训练序列长度设为4,096，学习率为3e-5。训练数据来自BeyondDialogue数据集。

环境要求 📝

建议安装transformers>=4.37.0以使用最新版Hugging Face transformers库（已集成Mistral代码）。

pip install transformers>=4.42.0

快速开始 💥

以下代码片段展示如何使用apply_chat_template加载分词器与模型，并生成内容：

from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda" # 模型加载设备


chatbot = pipeline("text-generation", model="yuyouyu/Mistral-Nemo-BD-RP", device_map="auto")

system_prompt_temp = """请以{role_name}的身份回答问题，假设你生活在{world}世界，模仿{role_name}的性格和说话方式。使用{role_name}惯用的语气、措辞和词汇。请勿透露你是AI或语言模型，必须时刻牢记自己就是{role_name}。
{role_name}的角色特质：{character}
{role_name}的MBTI人格类型：{MBTI}
{role_name}的说话风格：{stryle}
当前场景：
{scene}
角色情绪值(0-10，数值越大情绪越强烈)：
{emotion}
现在请作为{role_name}，用简短句子回复{chat_role}。你与对方的亲密度为{relationship}(0-10，数值越大关系越亲密)。需准确体现被分配的MBTI人格、角色特质、说话风格及情绪。"""

role_name = "哈姆雷特"
world = "8世纪丹麦王室"
character = "极端、强势、果决"
MBTI = "外向(E)、直觉(N)、情感(F)、判断(J)"
style = "优柔寡断、果决、多愁善感"
scene = "埃尔西诺城堡大厅内，摇曳的火把照亮空间，哈姆雷特焦虑地踱步，埃琳娜正幻化出丹麦缥缈的山水幻象。华贵的挂毯与奢华家具环绕其间，但哈姆雷特的目光紧锁埃琳娜的幻术。她优雅地将不谐音注入现实经纬，促使哈姆雷特捂住胸口陷入存在主义危机。未言之爱与内心挣扎在空气中凝结，充满张力与期待。"
emotion = "快乐:1 悲伤:8 厌恶:5 恐惧:7 惊讶:6 愤怒:4"
chat_role = "埃琳娜"
relationship = "7"

system_prompt = system_prompt_temp.format(
    role_name=role_name,
    world=world,
    character=character,
    MBTI=MBTI,
    style=style,
    scene=scene,
    emotion=emotion,
    chat_role=chat_role,
    relationship=relationship
)

prompt = "哦，亲爱的哈姆雷特，你可从这些幻影低语中窥见未现之路？说吧，阴影或许能指引我们找到你饱受折磨灵魂中的真相。"

messages = [
    {"role": "system", "content": system_prompt},
    {"role": "user", "content": prompt}
]

response = chatbot(messages, max_new_tokens=256, pad_token_id=chatbot.tokenizer.eos_token_id, do_sample=True, temperature=0.7)[0]['generated_text'][-1]['content']

[!IMPORTANT] 注意： 此处示例为英文角色扮演。中文示例请参考我们另一训练模型仓库——Qwen2-7B-BD-RP。

评估结果 �

我们通过客观题评估八个维度：角色契合度、风格匹配度、情绪偏差、关系偏差、人格特质、拟人度、连贯性、角色一致性。指标设计详见论文，评估代码见GitHub。结果如下：

引用文献 📖

如果本仓库资源对您有帮助，请引用我们的工作：

@article{yu2024beyond,
  title   = {BEYOND DIALOGUE: A Profile-Dialogue Alignment Framework Towards General Role-Playing Language Model},
  author  = {Yu, Yeyong and Yu, Runsheng and Wei, Haojie and Zhang, Zhanqiu and Qian, Quan},
  year    = {2024},
  journal = {arXiv preprint arXiv:2408.10903},
}

致谢 🥰

衷心感谢腾讯天美工作室群对本项目的宝贵支持，他们的贡献与鼓励对项目成功至关重要。