😎 KoChatBART

BART(Bidirectional and Auto-Regressive Transformers)是一种以自编码器形式训练的模型，通过向输入文本添加噪声并尝试恢复原始文本来进行学习。韩语聊天BART（以下简称KoChatBART）采用论文中使用的文本填充噪声函数，基于超过10GB的韩语对话文本训练而成，是一个韩语编码器-解码器语言模型。我们发布了由此衍生的、在对话生成方面表现稳健的KoChatBART-base模型。

快速体验

from transformers import AutoTokenizer, BartForConditionalGeneration  

tokenizer = AutoTokenizer.from_pretrained("BM-K/KoChatBART")  
model = BartForConditionalGeneration.from_pretrained("BM-K/KoChatBART")  

inputs = tokenizer("你好世界!", return_tensors="pt")  
outputs = model(**inputs)  

预训练数据预处理

使用数据集：

• 主题分类日常对话数据
• 中小商户客户订单问答文本
• 韩语社交媒体数据
• 政务自动化AI语言数据

为训练KoChatBART，我们对韩语对话数据集进行预处理并整合成大规模语料库：

1. 为减少数据冗余，将重复表达（如"ㅋㅋㅋㅋㅋ"）缩减为两次重复（如"ㅋㅋ"）
2. 过滤过短数据，仅保留KoBART分词后长度超过3个token的样本
3. 移除已匿名化处理的数据

模型架构

对话生成性能评估

基于(对话生成器)代码对各模型进行微调。通过恢复推理阶段生成的响应文本后，使用BPE分词器计算真实响应与生成响应之间的重叠度(overlap)和多样性(distinct)指标。

注意
由于使用短对话数据进行预训练，该模型在处理长文本任务（如摘要）时表现较弱。

实验结果

• 情感对话数据

• 中小商户对话数据

贡献者

参考文献

• KoBART