语言: 日语
许可证: CC-BY-SA-4.0
库名称: transformers
标签:

• deberta
• deberta-v2
• 填充掩码
  数据集:
• 维基百科
• cc100
• oscar
  评估指标:
• 准确率
  掩码标记: "[MASK]"
  小部件示例:
  • 文本: "京都 大学 で 自然 言語 処理 を [MASK] する 。"

日语DeBERTa V2基础模型卡片

模型描述

这是一个基于日语维基百科、CC-100日语部分及OSCAR日语部分预训练的日语DeBERTa V2基础模型。

使用方法

您可以通过以下方式进行掩码语言建模：

from transformers import AutoTokenizer, AutoModelForMaskedLM  
tokenizer = AutoTokenizer.from_pretrained('ku-nlp/deberta-v2-base-japanese')  
model = AutoModelForMaskedLM.from_pretrained('ku-nlp/deberta-v2-base-japanese')  

sentence = '京都 大学 で 自然 言語 処理 を [MASK] する 。'  # 输入需预先通过Juman++分词  
encoding = tokenizer(sentence, return_tensors='pt')  
...  

您也可以在下游任务中对本模型进行微调。

分词处理

输入文本需预先通过Juman++进行分词。预训练时使用的是Juman++ 2.0.0-rc3。每个词通过sentencepiece进一步切分为子词。

训练数据

预训练使用了以下语料库：

• 日语维基百科（截至20221020，3.2GB，2700万句子，130万文档）
• CC-100日语部分（85GB，6.19亿句子，6600万文档）
• OSCAR日语部分（54GB，3.26亿句子，2500万文档）

注：我们过滤了OSCAR中标注为"header"、"footer"或"noisy"的文档。
另注：日语维基百科被复制10次以使总语料规模与CC-100和OSCAR相当，最终训练数据总量达171GB。

训练流程

我们首先使用Juman++将语料文本分词，随后基于JumanDIC词汇和sentencepiece的unigram语言模型生成的子词，构建了包含32000个标记的sentencepiece模型。

使用该模型将分词后的语料转换为子词，并利用transformers库训练日语DeBERTa模型。训练在8块NVIDIA A100-SXM4-40GB GPU上耗时三周完成。

关键训练超参数：

• 学习率：2e-4
• 单设备训练批大小：44
• 分布式类型：多GPU
• 设备数量：8
• 梯度累积步数：6
• 总训练批大小：2,112
• 最大序列长度：512
• 优化器：Adam（β1=0.9，β2=0.999，ε=1e-06）
• 学习率调度器：带预热的线性计划
• 训练步数：500,000
• 预热步数：10,000

模型在掩码语言建模任务上的准确率为0.779。评估集由各训练语料库随机采样的5000份文档组成。

NLU任务微调结果

我们在JGLUE开发集上评估了以下微调模型，并参照JGLUE论文对每个模型和任务调整了学习率和训练周期。

*LUKE分数来自官方仓库

致谢

本研究由跨学科大规模信息基础设施联合使用/研究中心(JHPCN)通过jh221004号一般合作项目"构建与共享大规模日语语言模型平台"支持。模型训练使用了面向数据驱动未来的平台mdx。