license: apache-2.0
language: [en, ko]
tags:

• t5
  eos_token: ""
  widget:
• text: 父亲走进房间。

ke-t5 基础模型

基于韩语和英语预训练的T5模型。更多详情请参阅GitHub及论文韩语论文。

使用方法

from transformers import AutoModel, AutoTokenizer  

model = AutoModel.from_pretrained("KETI-AIR/ke-t5-large")  
tokenizer = AutoTokenizer.from_pretrained("KETI-AIR/ke-t5-large")  

BibTeX引用信息

@inproceedings{kim-etal-2021-model-cross,  
    title = "面向开放域对话系统的跨语言知识驱动响应生成模型",  
    author = "Kim, San  and  
      Jang, Jin Yea  and  
      Jung, Minyoung  and  
      Shin, Saim",  
    booktitle = "计算语言学协会发现：EMNLP 2021",  
    month = 11,  
    year = "2021",  
    address = "蓬塔卡纳，多米尼加共和国",  
    publisher = "计算语言学协会",  
    url = "https://aclanthology.org/2021.findings-emnlp.33",  
    doi = "10.18653/v1/2021.findings-emnlp.33",  
    pages = "352--365",  
    abstract = "开放域对话系统的研究是自然语言处理（NLP）领域的挑战性课题。近期通过利用对话相关知识的方法，对话系统性能有所提升；然而，非英语对话系统由于难以获取与系统同语言的知识，难以复现英语对话系统的性能。本文通过韩语对话系统的实验证明，利用英语知识可以提升非英语对话系统的性能，凸显了跨语言知识的应用价值。实验中我们：1）构建了韩语版Wizard of Wikipedia数据集，2）开发了基于韩英双语语料预训练的KE-T5语言模型，3）建立了基于KE-T5的韩语知识驱动对话模型。实验表明，即使仅提供英语知识，开放域韩语对话模型的性能仍得到提升。结果证明跨语言模型内嵌的知识有助于开放对话系统中的响应生成。",  
}