library_name: transformers license: apache-2.0 base_model: tasksource/ModernBERT-base-nli tags:

• generated_from_trainer datasets:
• rajpurkar/squad_v2 model-index:
• name: ModernBERT-base-squad2-v0.2 results: []

ModernBERT-base-squad2-v0.2

该模型是基于tasksource/ModernBERT-base-nli在rajpurkar/squad_v2数据集上微调的版本。

训练时使用的最大序列长度为8192。

加载模型需将trust_remote_code参数设置为True。

from transformers import pipeline

model_name = "praise2112/ModernBERT-base-squad2-v0.2"

# a) 获取预测结果
nlp = pipeline('question-answering', model=model_name, tokenizer=model_name)

context = """模型概述
ModernBERT是一种现代化的双向仅编码器Transformer模型（BERT风格），在2万亿英语和代码数据标记上预训练，原生支持长达8,192标记的上下文长度。该模型融合了多项前沿架构改进：

旋转位置嵌入（RoPE）实现长上下文支持
局部-全局交替注意力机制提升长输入效率
解填充和闪存注意力技术优化推理效能
ModernBERT的原生长上下文特性使其非常适合需要处理长文档的任务，例如大规模语料库中的检索、分类和语义搜索。该模型在大量文本和代码语料上训练，可广泛适用于下游任务，包括代码检索和混合（文本+代码）语义搜索。

现有规格如下：

ModernBERT-base - 22层，1.49亿参数
ModernBERT-large - 28层，3.95亿参数
更多关于ModernBERT的信息，建议查阅我们的发布博客获取概览，或阅读arXiv预印本获取深度解析。

ModernBERT是Answer.AI、LightOn与合作伙伴共同研发的成果。"""

question = "ModernBERT-base有多少参数？"

res = nlp(question=question, context=context, max_seq_len=8192)

# {'score': 0.698786735534668, 'start': 891, 'end': 903, 'answer': ' 1.49亿'}

训练流程

训练超参数

训练过程中使用的超参数如下：

• 学习率：3e-05
• 训练批大小：32
• 评估批大小：32
• 随机种子：42
• 优化器：采用ExtendedOptimizerNames.ADAMW_TORCH，beta=(0.9,0.999)，epsilon=1e-08，无额外优化器参数
• 学习率调度器类型：线性
• 学习率预热比例：0.1
• 训练轮次：4

训练结果

框架版本

• Transformers 4.48.0.dev0
• Pytorch 2.5.1+cu124
• Datasets 2.20.0
• Tokenizers 0.21.0