青年聊天机器人_KoGPT2基础版

演示网站: Ainize终端
演示网站代码: Github
青年聊天机器人API: Ainize接口

项目概述

语言模型: KoGPT2
支持语言: 韩语
训练数据来源: 韩国人工智能数据中心

使用说明

from transformers import PreTrainedTokenizerFast, GPT2LMHeadModel
用户标记 = '<usr>'
系统标记 = '<sys>'
掩码标记 = '<unused0>'
情感标记 = '<unused1>'
分词器 = PreTrainedTokenizerFast.from_pretrained("EasthShin/Youth_Chatbot_Kogpt2-base",
  起始符='</s>', 结束符='</s>', 未知符='<unk>',
  填充符='<pad>', 掩码符=掩码标记)

模型 = GPT2LMHeadModel.from_pretrained('EasthShin/Youth_Chatbot_Kogpt2-base')
输入编码 = 分词器.encode(用户标记 + {输入文本} + 情感标记 + 系统标记)
生成编码 = 模型.generate(torch.tensor([输入编码]),
                                 最大长度=128,
                                 重复惩罚系数=2.0,
                                 填充符=分词器.pad_token_id,
                                 结束符=分词器.eos_token_id,
                                 起始符=分词器.bos_token_id,
                                 使用缓存=True)

生成文本 = 分词器.decode(生成编码[0, :].tolist())

print(生成文本)