许可证：cc-by-sa-4.0
数据集：

• globis-university/aozorabunko-clean
• oscar-corpus/OSCAR-2301
• 维基百科
• 维基教科书
• CC-100
• allenai/c4
  语言：
• 日语
  库名称：transformers

这是什么？

这是一个基于日语资源训练的DeBERTa V3模型。

它具有以下特点：

• 使用广受好评的DeBERTa V3架构
• 专为日语优化
• 推理时不依赖形态分析器
• 一定程度保留词汇边界（避免生成像の都合上或の判定負けを喫し这样的跨词元标记）

使用方法

from transformers import AutoTokenizer, AutoModelForTokenClassification

model_name = 'globis-university/deberta-v3-japanese-xsmall'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForTokenClassification.from_pretrained(model_name)

分词器

采用工藤提出的方法训练，具有以下特性：

• 推理时无需形态分析器
• 标记不跨越词汇边界（使用unidic-cwj-202302词典）
• 兼容Hugging Face生态
• 适中的词汇表规模

注意：xsmall/base模型采用unigram算法训练，而large模型因训练时unigram效果不佳改用BPE算法。

训练数据

训练参数

• 设备数量：8台
• 批量大小：384（48x8）
• 学习率：3.84e-4
• 最大序列长度：512
• 训练步数：1,000,000

性能评估

许可证

知识共享署名-相同方式共享4.0协议

致谢

感谢ABCI提供的计算资源支持。