许可协议：cc-by-sa-4.0 数据集：

• globis-university/aozorabunko-clean
• oscar-corpus/OSCAR-2301
• 维基百科
• 维基教科书
• CC-100
• allenai/c4 语言：
• 日语 库名称：transformers

这是什么？

这是一个基于日语资源训练的DeBERTa V3模型。

具有以下特点：

• 采用广受好评的DeBERTa V3架构
• 专为日语优化
• 推理时无需使用形态分析器
• 一定程度上尊重词语边界（不会生成像"の都合上"或"の判定負けを喫し"这样的跨词token）

使用方法

from transformers import AutoTokenizer, AutoModelForTokenClassification

model_name = 'globis-university/deberta-v3-japanese-large'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForTokenClassification.from_pretrained(model_name)

分词器

采用工藤先生提出的方法进行训练。

主要特点：

• 推理时无需形态分析器
• token不会跨越词语边界（使用unidic-cwj-202302词典）
• 兼容Hugging Face生态
• 适中的词汇表规模

虽然原始DeBERTa V3以大规模词汇表著称（例如microsoft/deberta-v3-base模型中嵌入层参数占比高达54%），但本模型采用了更精简的词汇规模。

需要注意的是，在xsmall、base和large三个版本中，前两者使用unigram算法训练，而large版则采用BPE算法。这主要是因为增大词汇量时unigram训练失败，为优先完成模型而改用BPE算法。

训练数据

训练参数

• 设备数量：8台
• 批次大小：8x8
• 学习率：6.4e-5
• 最大序列长度：512
• 优化器：AdamW
• 学习率调度：带热身的线性调度
• 训练步数：2,000,000
• 热身步数：100,000
• 精度：混合精度(fp16)
• 词汇量：48,000

性能评估

许可协议

CC BY SA 4.0

致谢

感谢ABCI提供的计算资源支持。