推理: false 语言: ja 许可证: apache-2.0 掩码标记: "[MASK]" 示例输入:

• 文本: "LINE株式会社で[MASK]の研究・開発をしている。"

LINE DistilBERT 日语模型

这是一个基于131GB日语网页文本预训练的DistilBERT模型。 教师模型是LINE内部构建的BERT-base版本。 该模型由LINE株式会社训练。

日语说明

日语版说明请参阅: https://github.com/line/LINE-DistilBERT-Japanese/blob/main/README_ja.md

使用方法

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("line-corporation/line-distilbert-base-japanese", trust_remote_code=True)
model = AutoModel.from_pretrained("line-corporation/line-distilbert-base-japanese")

sentence = "LINE株式会社で[MASK]の研究・開発をしている。"
print(model(**tokenizer(sentence, return_tensors="pt")))

依赖项

fugashi 
sentencepiece
unidic-lite

模型架构

模型架构采用DistilBERT基础版本：6层网络，768维隐藏状态，12个注意力头，共6600万参数。

评估结果

在JGLUE基准测试中的表现如下：

分词处理

文本首先使用MeCab结合Unidic词典进行分词，然后通过SentencePiece算法拆分为子词。词汇表大小为32768。

许可协议

预训练模型遵循Apache许可证2.0版条款发布。

引用方式

我们尚未发表相关论文。请引用本GitHub仓库:

@article{LINE DistilBERT 日语模型,
  标题 = {LINE DistilBERT 日语模型},
  作者 = {"古贺、小林、李胜哲、中町明史、佐藤俊则"},
  年份 = {2023},
  发布方式 = {\url{http://github.com/line/LINE-DistilBERT-Japanese}}
}