语言:

• 俄语
• 俄语-RU
  标签:
• 对话式

📝 描述

基于俄语训练并在我个人电报聊天记录上微调的DialoGPT模型。

该模型由Sberbank-AI创建，并在俄语论坛数据上训练（参见Grossmend的模型）。训练细节可查阅habr文章（俄语）。我建立了简易处理流程，并基于个人导出的电报聊天记录（约30MB的json文件）对该模型进行了微调。实际上从电报获取数据并微调模型非常简单，为此我制作了Colab教程: https://colab.research.google.com/drive/1fnAVURjyZRK9VQg1Co_-SKUQnRES8l9R?usp=sharing

⚠️ 由于数据特殊性，托管推理API可能无法正常工作 ⚠️

🤗试用请访问我的Spaces演示🤗

❓ 代码调用方法

# 下载模型和分词器
checkpoint = "Kirili4ik/ruDialoGpt3-medium-finetuned-telegram"   
tokenizer =  AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint)
model.eval()


# 计算文本token化后的长度参数
def get_length_param(text: str, tokenizer) -> str:
    tokens_count = len(tokenizer.encode(text))
    if tokens_count <= 15:
        len_param = '1'
    elif tokens_count <= 50:
        len_param = '2'
    elif tokens_count <= 256:
        len_param = '3'
    else:
        len_param = '-'
    return len_param


# 判断对话中下一句来自机器还是人类
def get_user_param(text: dict, machine_name_in_chat: str) -> str:
    if text['from'] == machine_name_in_chat:
        return '1'  # 机器
    else:
        return '0'  # 人类


chat_history_ids = torch.zeros((1, 0), dtype=torch.int)

while True:
    
    next_who = input("发言者？\t")  #输入"H / G"     # 人类或GPT

    # 人类输入时
    if next_who == "H" or next_who == "Human":
        input_user = input("===> 人类: ")
        
        # 编码用户输入，添加参数并返回PyTorch张量
        new_user_input_ids = tokenizer.encode(f"|0|{get_length_param(input_user, tokenizer)}|" \
                                              + input_user + tokenizer.eos_token, return_tensors="pt")
        # 将用户输入tokens加入对话历史
        chat_history_ids = torch.cat([chat_history_ids, new_user_input_ids], dim=-1)

    if next_who == "G" or next_who == "GPT":

        next_len = input("语句长度？1/2/3/-\t")  #输入"期望长度？(-/1/2/3): ")
        # 编码新输入并添加参数
        new_user_input_ids = tokenizer.encode(f"|1|{next_len}|", return_tensors="pt")
        # 将新tokens加入对话历史
        chat_history_ids = torch.cat([chat_history_ids, new_user_input_ids], dim=-1)
        
        # print(tokenizer.decode(chat_history_ids[-1])) # 取消注释查看完整GPT输入
        
        # 保存当前长度
        input_len = chat_history_ids.shape[-1]
        # 生成响应（参数说明见hf.co/blog/how-to-generate）
        chat_history_ids = model.generate(
            chat_history_ids,
            num_return_sequences=1,                     # 生成多个变体时可调整，需打印[i]
            max_length=512,
            no_repeat_ngram_size=3,
            do_sample=True,
            top_k=50,
            top_p=0.9,
            temperature = 0.6,                          # 0表示贪婪搜索
            mask_token_id=tokenizer.mask_token_id,
            eos_token_id=tokenizer.eos_token_id,
            unk_token_id=tokenizer.unk_token_id,
            pad_token_id=tokenizer.pad_token_id,
            device='cpu'
        )
        
        
        # 优雅打印机器人的最新输出tokens
        print(f"===> GPT-3回复:  {tokenizer.decode(chat_history_ids[:, input_len:][0], skip_special_tokens=True)}")