Chatbot Fr

🚀 基于自定义分词器在法语OpenSubtitles上训练的DialogGPT模型

本项目是一个在法语OpenSubtitles数据集上使用自定义分词器训练的DialogGPT模型，可用于构建对话系统，为用户提供智能对话服务。

🚀 快速开始

本模型是基于法语OpenSubtitles数据集训练的DialogGPT模型，并使用了自定义分词器。它基于microsoft/DialoGPT - medium的配置进行训练。数据集是根据以下指南从opus下载的2018版OpenSubtitles生成的：

• 数据集生成指南
• 数据集生成Notebook

模型训练使用了以下Notebook： 训练Notebook

💻 使用示例

基础用法

import torch
from transformers import AutoTokenizer, AutoModelWithLMHead

tokenizer = AutoTokenizer.from_pretrained("cedpsam/chatbot_fr")

model = AutoModelWithLMHead.from_pretrained("cedpsam/chatbot_fr")

for step in range(6):
    # encode the new user input, add the eos_token and return a tensor in Pytorch
    new_user_input_ids = tokenizer.encode(input(">> User:") + tokenizer.eos_token, return_tensors='pt')
    # print(new_user_input_ids)

    # append the new user input tokens to the chat history
    bot_input_ids = torch.cat([chat_history_ids, new_user_input_ids], dim=-1) if step > 0 else new_user_input_ids

    # generated a response while limiting the total chat history to 1000 tokens, 
    chat_history_ids = model.generate(
        bot_input_ids, max_length=1000,
        pad_token_id=tokenizer.eos_token_id,
        top_p=0.92, top_k = 50
    )
    
    # pretty print last ouput tokens from bot
    print("DialoGPT: {}".format(tokenizer.decode(chat_history_ids[:, bot_input_ids.shape[-1]:][0], skip_special_tokens=True)))

高级用法

在上述基础用法的基础上，你可以根据实际需求调整模型生成的参数，例如max_length、top_p和top_k等，以获得不同风格和长度的回复。同时，你还可以将该模型集成到更复杂的对话系统中，结合其他技术实现更智能的交互。