license: apache-2.0
language: ko
tags:

• t5
  eos_token: ""
  widget:
• text: 父亲走进了房间。

ke-t5 base

基于韩语和英语预训练的T5模型。详情请参阅Github及论文 韩语论文。

使用方法

from transformers import AutoModel, AutoTokenizer  

model = AutoModel.from_pretrained("KETI-AIR/ke-t5-small-ko")  
tokenizer = AutoTokenizer.from_pretrained("KETI-AIR/ke-t5-small-ko")  

BibTeX引用信息

@inproceedings{kim-etal-2021-model-cross,  
    title = "面向开放域对话系统的跨语言知识驱动响应生成模型",  
    author = "Kim, San  and  
      Jang, Jin Yea  and  
      Jung, Minyoung  and  
      Shin, Saim",  
    booktitle = "计算语言学协会发现：EMNLP 2021",  
    month = 11,  
    year = "2021",  
    address = "蓬塔卡纳，多米尼加共和国",  
    publisher = "计算语言学协会",  
    url = "https://aclanthology.org/2021.findings-emnlp.33",  
    doi = "10.18653/v1/2021.findings-emnlp.33",  
    pages = "352--365",  
    abstract = "开放域对话系统的研究是自然语言处理（NLP）领域的挑战性课题。近期通过利用对话相关知识的方法提升了系统性能，但非英语对话系统因难以获取同语言知识而难以复现英语系统的表现。本文通过韩语对话系统实验证明：利用英语知识可提升非英语系统性能，凸显跨语言知识的应用价值。实验中我们：1)构建了韩版Wizard of Wikipedia数据集；2)开发了韩英双语预训练模型KE-T5；3)基于KE-T5开发了知识驱动的韩语对话模型。实验表明，即使仅提供英语知识，开放域韩语对话模型性能仍获提升。结果证明跨语言模型内嵌知识对开放对话系统的响应生成具有促进作用。",  
}