许可证：MIT
数据集：

• HuggingFaceFW/fineweb-2
  语言：
• 日语
  任务标签：填充掩码

makiart/jp-modernbert-large-preview

该模型由Algomatic团队利用ABCI生成AI黑客松提供的计算资源训练而成。

• 上下文长度：8192
• 词汇量：50,368
• 总训练token数：约1000亿（继承Base模型权重后）
• 参数量：3.96亿
• 去除嵌入层后的参数量：3.43亿
• 使用fineweb2日语数据集

使用方法

pip install -U transformers>=4.48.0  

由于使用BertJapaneseTokenizer分词器，需额外安装：

pip install fugashi unidic_lite  

若GPU支持FlashAttention，安装以下组件可提升推理效率：

pip install flash-attn --no-build-isolation  

示例代码

import torch  
from transformers import AutoModelForMaskedLM, AutoTokenizer, pipeline  

model = AutoModelForMaskedLM.from_pretrained("makiart/jp-ModernBERT-large-preview", torch_dtype=torch.bfloat16)  
tokenizer = AutoTokenizer.from_pretrained("makiart/jp-ModernBERT-large-preview")  
fill_mask = pipeline("fill-mask", model=model, tokenizer=tokenizer)  

results = fill_mask("我々の大方の苦悩は、あり得べき別の[MASK]を夢想することから始まる。")  

for result in results:  
    print(result)  

# {'score': 0.16015625, 'token': 12489, 'token_str': 'こと', 'sequence': '我々 の 大方 の 苦悩 は 、 あり 得 べき 別 の こと を 夢想 する こと から 始まる 。'}  
# {'score': 0.09716796875, 'token': 12518, 'token_str': 'もの', 'sequence': '我々 の 大方 の 苦悩 は 、 あり 得 べき 別 の もの を 夢想 する こと から 始まる 。'}  
# {'score': 0.043212890625, 'token': 12575, 'token_str': '世界', 'sequence': '我々 の 大方 の 苦悩 は 、 あり 得 べき 別 の 世界 を 夢想 する こと から 始まる 。'}  
# {'score': 0.03369140625, 'token': 29991, 'token_str': '事柄', 'sequence': '我々 の 大方 の 苦悩 は 、 あり 得 べき 別 の 事柄 を 夢想 する こと から 始まる 。'}  
# {'score': 0.0296630859375, 'token': 655, 'token_str': '事', 'sequence': '我々 の 大方 の 苦悩 は 、 あり 得 べき 別 の 事 を 夢想 する こと から 始まる 。'}  

模型说明

• 基础模型权重采用中间平铺扩展（tile weights from middle）
• 在8192上下文长度下训练约1000亿token
• 分词器基于tohoku-nlp/bert-base-japanese-v3
  • 词汇量50,368
• 数据集
  • 仅使用fineweb2日语数据
• 计算资源
  • 使用ABCI提供的1个计算节点（H200 x 8），训练约2天

评估

尚未进行系统评估😭

预计因总训练token量较少，性能可能逊于现有模型。