language: zh tags:

• 韩语
• klue mask_token: "[MASK]" widget:
• text: "韩国的首都是[MASK]。"

KLUE RoBERTa大模型

基于韩语预训练的RoBERTa模型。更多详情请参阅Github和论文。

使用方法

注意: 使用BertTokenizer而非RobertaTokenizer。（AutoTokenizer会自动加载BertTokenizer）

from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained("klue/roberta-large")
tokenizer = AutoTokenizer.from_pretrained("klue/roberta-large")

BibTeX引用信息

@misc{park2021klue,
      title={KLUE: 韩语理解评估基准},
      author={朴成俊、Moon Jihyung、金成东、曹元翼、韩智允、朴长元、宋志成、金俊成、宋永淑、吴泰焕、李周洪、吴柱贤、刘成元、郑永勋、李仁权、李相宇、李东俊、金贤宇、李命和、张成甫、都承元、金宣京、林京泰、李钟元、朴京民、申在民、金成贤、朴露西、Alice Oh、河正宇、赵京贤},
      year={2021},
      eprint={2105.09680},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}