language: ko license: mit tags:

• bart

kobart-base-v2 模型卡片

模型详情

模型描述

BART(Bidirectional and Auto-Regressive Transformers)是一种通过向输入文本添加噪声并重建原始文本的自编码器形式进行训练的模型。韩语BART(以下简称KoBART)采用论文中提出的文本填充噪声函数，基于超过40GB的韩语文本训练而成的韩语编码器-解码器语言模型。现发布由此衍生的KoBART-base模型。

• 开发方: 需补充信息
• 共享者: 田惠元(Haven Jeon)
• 模型类型: 特征提取
• 支持语言: 韩语
• 许可协议: MIT
• 基础模型: BART
• 更多资源:
  • GitHub仓库
  • 模型演示空间

用途

直接使用

本模型可用于特征提取任务。

下游任务应用

需补充信息。

非适用场景

不得用于制造针对特定群体的敌对或排斥环境。

偏差、风险与局限性

大量研究已揭示语言模型存在的偏见问题(参见Sheng等(2021)和Bender等(2021))。模型输出可能包含涉及受保护群体、身份特征及敏感社会职业的有害刻板印象。

使用建议

建议用户(包括直接使用者和下游开发者)充分了解模型的潜在风险与偏差。需补充具体建议。

训练详情

训练数据

除韩语维基外，训练数据涵盖新闻、书籍、国民语料库v1.0、青瓦台国民请愿等多类型文本。

词汇表规模为30,000，特别添加了高频使用的表情符号以提升识别能力：

😀, 😁, 😆, 😅, 🤣, ..., :-), :), -), (-:...

训练流程

分词器

采用tokenizers包的字符级BPE分词器进行训练。

性能参数

评估

测试数据与指标

测试数据

需补充信息

评估指标

需补充信息

结果

NSMC数据集：

• 准确率：0.901

模型作者在GitHub仓库中公布的其他指标：

模型分析

需补充信息

环境影响

碳排放估算可参考Lacoste等(2019)提出的机器学习影响计算器。

• 硬件类型: 需补充
• 训练时长: 需补充
• 云服务商: 需补充
• 计算区域: 需补充
• 碳排放量: 需补充

技术规格

模型架构

需补充信息

计算基础设施

需补充信息

硬件配置

需补充信息

软件环境

需补充信息

引用

BibTeX格式: 需补充信息

术语表

需补充信息

补充说明

需补充信息

卡片作者

田惠元(Haven Jeon)与Ezi Ozoani及Hugging Face团队协作完成

联系方式

作者在GitHub仓库中说明： KoBART相关问题请提交至此页面。

快速开始

以下代码演示模型加载方式：

from transformers import PreTrainedTokenizerFast, BartModel

tokenizer = PreTrainedTokenizerFast.from_pretrained('gogamza/kobart-base-v2')
model = BartModel.from_pretrained('gogamza/kobart-base-v2')