语言: 韩语
许可证: CC-BY-SA-4.0
标签:

• 韩语
• KLUE
  掩码标记: "[MASK]"
  小部件示例:
• 文本: "대한민국의 수도는 [MASK] 입니다."

KLUE BERT基础版

目录

• 模型详情
• 快速使用指南
• 用途
• 风险、局限与偏差
• 训练
• 评估
• 环境影响
• 技术规格
• 引用信息
• 模型卡作者

模型详情

模型描述: KLUE BERT基础版是基于韩语预训练的BERT模型。开发者是在构建韩语理解评估基准(KLUE)的背景下开发该模型。

• 开发者: 参见GitHub仓库
• 模型类型: 基于Transformer的语言模型
• 支持语言: 韩语
• 许可证: CC-BY-SA-4.0
• 父模型: 参见BERT基础无大小写模型
• 更多资源:
  • 研究论文
  • GitHub仓库

快速使用指南

from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained("klue/bert-base")
tokenizer = AutoTokenizer.from_pretrained("klue/bert-base")

用途

直接使用

该模型可用于主题分类、语义文本相似度、自然语言推理、命名实体识别等任务，详见KLUE基准。

滥用与超范围使用

禁止使用该模型故意制造敌对或排斥性环境。该模型未训练为事实或真实事件表征，因此生成此类内容超出模型能力范围。

风险、局限与偏差

语言模型的偏见与公平性问题已被广泛研究（参见Sheng等(2021)和Bender等(2021)）。开发者在论文中讨论了相关伦理问题：

• 预训练语料中公开数据的偏见问题（及过滤考量）
• 预训练数据中的个人身份信息（及伪匿名化处理）

KLUE基准的伦理考量亦参见论文。

训练

训练数据

开发者使用以下预训练语料库（详见论文）：

我们整合五个公开韩语语料库以覆盖多样化主题和文体，最终构建约62GB的预训练语料库：

• MODU: 韩国国立国语院发布的Modu语料库，含正式文本（新闻/书籍）和口语文本（对话）
• CC-100-Kor: 使用CC-Net构建的多语言网络爬取语料库的韩语部分
• NAMUWIKI: 类似维基百科的韩语网络百科全书（2020年3月2日存档）
• NEWSCRAWL: 2011-2020年新闻聚合平台的1280万篇新闻
• PETITION: 青瓦台国民请愿网站上的公共请愿书（2017年8月至2019年3月）

训练流程

预处理

采用与论文2.3节相同方法过滤噪声和非韩语文本，使用韩语句子分割器(KSS)分句，对CC-100-Kor和NEWSCRAWL保留200字符以上的句子，并使用BM25移除基准测试数据集中的相似句。

分词

采用基于语素的子词分词：先用MeCab-ko进行形态分析，再应用BPE算法构建32k词表。推理时仅需BPE模型即可实现快速分词。

评估

测试数据与指标

模型在KLUE基准上评估，各任务指标如下：

结果

85.73(F1) / 90.85(Pearson) / 81.63(ACC) / 83.97(实体F1) / 66.44(F1) / 89.96(UAS) / 62.32(EM) / 46.64(JGA) 等（详见表格）

环境影响

硬件类型为TPU v3-8，具体碳排放数据未知（参见论文）。

技术规格

详见论文中的BERT架构、目标函数、计算基础设施等细节。

引用信息

@misc{park2021klue,
      title={KLUE: Korean Language Understanding Evaluation}, 
      author={Park, Sungjoon 等},
      year={2021},
      eprint={2105.09680},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}