语言: 日语
数据集: 维基百科
任务标签: 填充掩码
小部件示例:

• 文本: 得意な科目は[MASK]です。
  许可证: CC-BY-SA-4.0

BERT基础日语模型

此仓库包含一个基于日语维基百科数据集训练的BERT基础模型。

训练数据

训练使用了截至2021年6月20日的日语维基百科数据集，该数据集遵循知识共享署名-相同方式共享3.0协议。数据被划分为训练集、验证集和测试集三部分，分词器与模型均基于训练集部分进行训练。

模型说明

模型架构与BERT基础模型一致（隐藏层维度：768，隐藏层数：12，注意力头数：12，最大位置嵌入：512），仅词汇表规模不同。本模型词汇表设置为32,000，而非原版的30,522。

模型采用transformers.BertForPreTraining实现。

分词器说明

分词器采用SentencePiece模型。训练过程中，分词器模型从训练集中抽取1,000,000条样本进行训练，词汇表规模设为32,000。由于日语不以空格分隔单词，设置add_dummy_prefix选项为True。

训练完成后，模型被导入至transformers.DebertaV2Tokenizer，因其支持SentencePiece模型且无论use_fast选项为True或False时行为一致。

注意：
此处的"行为一致"指：例如AlbertTokenizer提供AlbertTokenizer和AlbertTokenizerFast两个版本，默认使用Fast版，但两者分词行为存在差异，而本模型期望使用非Fast版行为。虽然通过向AutoTokenizer或pipeline传递use_fast=False可强制使用非Fast版，但该选项无法通过config.json或模型卡片传递，导致调用推理API时可能出现意外行为。为避免此类问题，本模型选用transformers.DebertaV2Tokenizer。

训练细节

训练参数如下：

• 每256个样本更新梯度（批次大小：8，梯度累积步数：32）
• 梯度裁剪阈值为1.0
• 学习率在前10,000步从0线性增长至0.0001
• 训练集约含2000万样本，因80k*256≈20M，故1个epoch约80k步

训练环境为Ubuntu 18.04.5 LTS系统，使用单块RTX 2080 Ti显卡。训练持续至验证损失不再下降，总训练步数约214k步，测试集损失值为2.80。训练代码详见GitHub仓库。

使用方式

首先安装依赖：

$ pip install torch==1.8.0 transformers==4.8.2 sentencepiece==0.1.95

通过transformers.pipeline进行掩码填充任务：

>>> import transformers
>>> pipeline = transformers.pipeline("fill-mask", "colorfulscoop/bert-base-ja", revision="v1.0")
>>> pipeline("専門として[MASK]を専攻しています")
[{'sequence': '専門として工学を専攻しています', 'score': 0.03630176931619644, 'token': 3988, 'token_str': '工学'}, ...]

注意：建议通过revision参数指定版本以确保复现性。

许可证

版权所有 (c) 2021 Colorful Scoop
本仓库所有模型遵循知识共享署名-相同方式共享3.0协议。

免责声明： 模型可能生成与训练数据相似的文本、不真实文本或带有偏见的文本。使用者需自行承担使用风险。Colorful Scoop不对模型输出作任何担保，亦不承担因模型输出导致的任何责任。

训练数据来源

• 名称： ウィキペディア (Wikipedia): フリー百科事典
• 来源： https://ja.wikipedia.org/
• 许可证： 知识共享署名-相同方式共享3.0
• 链接： https://ja.wikipedia.org/