语言:

• 英文
  许可证: MIT
  库名称: transformers
  标签:
• 聊天
• 文本生成
• 人物设定
• phi-2
• 大语言模型
• 基于人格的对话
  数据集:
• nazlicanto/基于人格的聊天

Phi 2 人格对话模型

Phi 2 人格对话模型是基于 Phi 2 模型通过 nazlicanto/persona-based-chat 数据集进行 LoRA 微调的版本。该数据集包含超过 6.4 万组 人物A 与 人物B 的对话，并为每段对话提供了对应的人物设定列表。

模型采用监督微调训练器，以 reference 回答作为目标输出进行训练。完整训练/推理代码及依赖项列表详见 GitHub 仓库。

运行模型

请注意，当前运行 Phi 2 模型需设置 trust_remote_code=True。为获得最佳效果，建议输入包含人物设定的提示词，并至少包含一轮对话示例。

from random import randrange
import torch
from datasets import load_dataset
from transformers import AutoTokenizer, AutoModelForCausalLM

prompt = """
人物B的设定信息如下：

人物B设定：我叫大卫，35岁，是一名数学教师。
人物B设定：我喜欢徒步和亲近大自然。
人物B设定：已婚并育有两个孩子。

指令：人物A与人物B正在进行对话。请根据上述设定信息，在以下对话情境中为人物B生成最符合其性格的回应。需充分考虑对话上下文与逻辑流。

人物A：早啊！家长会上好像见过你，怎么称呼？

输出：
"""

# 加载基础LLM模型、LoRA参数及分词器
model = AutoModelForCausalLM.from_pretrained("nazlicanto/phi-2-persona-chat", trust_remote_code=True)
model.to("cuda")

tokenizer = AutoTokenizer.from_pretrained("nazlicanto/phi-2-persona-chat", trust_remote_code=True)

# 分词处理输入提示
input_ids = tokenizer(prompt, return_tensors="pt", truncation=True).input_ids.cuda()

# 推理生成
with torch.inference_mode():
    outputs = model.generate(
        input_ids=input_ids, 
        max_new_tokens=50, 
        do_sample=True, 
        top_p=0.1,
        temperature=0.7
    )

# 解码输出
outputs = outputs.detach().cpu().numpy()
outputs = tokenizer.batch_decode(outputs, skip_special_tokens=True)
output = outputs[0][len(prompt):]
print(output)

本模型由 nazlicanto 与 adirik 联合训练。