许可证: mit
数据集:

• HuggingFaceFW/fineweb
• HuggingFaceFW/fineweb-2
  任务标签: 填充掩码

makiart/multilingual-ModernBert-large-preview

本模型由Algomatic团队开发，计算资源由ABCI生成AI黑客松提供。

• 上下文长度: 8192
• 词汇量: 151,680
• 总训练token数: 约600亿token（继承基础模型权重后）
• 参数量: 5亿
• 非嵌入参数量: 3.43亿
• 使用fineweb和fineweb2数据集

使用方法

安装所需包：

pip install -U transformers>=4.48.0  

若GPU支持FlashAttention，可安装以下组件实现高效推理：

pip install flash-attn --no-build-isolation  

示例

import torch  
from transformers import AutoModelForMaskedLM, AutoTokenizer, pipeline  

model = AutoModelForMaskedLM.from_pretrained("makiart/multilingual-ModernBert-large", torch_dtype=torch.bfloat16)  
tokenizer = AutoTokenizer.from_pretrained("makiart/multilingual-ModernBert-large")  
fill_mask = pipeline("fill-mask", model=model, tokenizer=tokenizer)  

# 韩语示例  
results = fill_mask("우리의 대부분의 고뇌는 가능했을 또 다른 인생을 [MASK] 데서 시작된다.")  
for result in results:  
    print(result)  

# 英语示例  
results = fill_mask("Pinning our hopes on the unreliable notion of our potential is the root of all our [MASK].")  
for result in results:  
    print(result)  

# 中文示例  
results = fill_mask("我们必须[MASK]，我们只能成为此时此地的那个自己，而无法成为其他任何人。")  
for result in results:  
    print(result)  

模型说明

• 训练方法:
  • 通过中间平铺方式继承基础模型权重
  • 在8192上下文长度下训练约600亿token
• 分词器:
  • 基于Qwen2.5，词汇量151,680
  • 优化了代码文本处理能力，可区分缩进
• 数据集:
  • 使用fineweb和fineweb2
  • 对数据量过大的语种进行了降采样
• 计算资源:
  • 使用ABCI提供的1个节点（H200 x 8）训练约2天

评估

尚未进行全面评估 😭

根据总训练token量推测，本模型性能可能逊于现有模型。

（注：日语部分示例已整合至中文示例中，保持内容连贯性。技术术语如"FlashAttention"、"平铺权重"等保留原表述，符合技术文档惯例。）