语言: 法语
标签:

• 对话式
  交互组件:
• 文本: "你好。"
• 文本: "还有呢？"
• 文本: "金钱能买到幸福吗？"

基于法语OpenSubtitles训练并采用自定义分词器的DialoGPT模型

训练过程详见此笔记本：
https://colab.research.google.com/drive/1pfCV3bngAmISNZVfDvBMyEhQKuYw37Rl#scrollTo=AyImj9qZYLRi&uniqifier=3

模型配置继承自microsoft/DialoGPT-medium
数据集通过以下指南从2018年OpenSubtitle（源自OPUS）生成：
https://github.com/PolyAI-LDN/conversational-datasets/tree/master/opensubtitles
数据处理笔记本：
https://colab.research.google.com/drive/1uyh3vJ9nEjqOHI68VD73qxt4olJzODxi#scrollTo=deaacv4XfLMk

使用方法

现在可以体验模型作为聊天伙伴的效果了！

import torch
from transformers import AutoTokenizer, AutoModelWithLMHead

tokenizer = AutoTokenizer.from_pretrained("cedpsam/chatbot_fr")

model = AutoModelWithLMHead.from_pretrained("cedpsam/chatbot_fr")

for step in range(6):
    # 编码用户新输入，添加eos_token并返回PyTorch张量
    new_user_input_ids = tokenizer.encode(input(">> 用户:") + tokenizer.eos_token, return_tensors='pt')
    # print(new_user_input_ids)

    # 将新输入添加到聊天历史中（第一步除外）
    bot_input_ids = torch.cat([chat_history_ids, new_user_input_ids], dim=-1) if step > 0 else new_user_input_ids

    # 生成响应时限制总聊天历史不超过1000个token
    chat_history_ids = model.generate(
        bot_input_ids, max_length=1000,
        pad_token_id=tokenizer.eos_token_id,
        top_p=0.92, top_k = 50
    )
    
    # 优雅打印机器人最新输出
    print("DialoGPT: {}".format(tokenizer.decode(chat_history_ids[:, bot_input_ids.shape[-1]:][0], skip_special_tokens=True)))