库名称: transformers
许可证: apache-2.0
基础模型: answerdotai/ModernBERT-large
标签:

• 训练生成
  数据集:
• rajpurkar/squad_v2
  模型索引:
• 名称: ModernBERT-large-squad2-v0.1
  结果: []

ModernBERT-large-squad2-v0.1

此模型是基于answerdotai/ModernBERT-large在rajpurkar/squad_v2数据集上微调的版本。

训练期间使用的最大序列长度为8192。

加载模型时需要将trust_remote_code设置为True。

from transformers import pipeline  

model_name = "praise2112/ModernBERT-large-squad2-v0.1"  

# a) 获取预测结果  
nlp = pipeline('question-answering', model=model_name, tokenizer=model_name)  

context = """模型概述  
ModernBERT是一种现代化的双向仅编码器Transformer模型（BERT风格），预训练使用了2万亿个英语和代码数据的标记，原生上下文长度高达8,192个标记。ModernBERT利用了以下最新的架构改进：  

旋转位置嵌入（RoPE）以支持长上下文。  
局部-全局交替注意力机制，提高长输入的处理效率。  
去填充和Flash Attention技术，实现高效推理。  
ModernBERT的原生长上下文特性使其非常适合需要处理长文档的任务，例如检索、分类和大规模语料库中的语义搜索。该模型在大量文本和代码数据上训练，适用于广泛的下游任务，包括代码检索和混合（文本+代码）语义搜索。  

提供以下规模版本：  

ModernBERT-base - 22层，1.49亿参数  
ModernBERT-large - 28层，3.95亿参数  
有关ModernBERT的更多信息，我们推荐阅读发布博客以获取概览，或查阅arXiv预印本以深入了解。  

ModernBERT是Answer.AI、LightOn及合作伙伴共同开发的成果。"""  

question = "为什么ModernBERT使用了RoPE？"  

res = nlp(question=question, context=context, max_seq_len=8192)  

# {'score': 0.5530015826225281, 'start': 309, 'end': 334, 'answer': '以支持长上下文'}  

训练过程

训练超参数

训练期间使用的超参数如下：

• 学习率: 1e-05
• 训练批次大小: 8
• 评估批次大小: 8
• 随机种子: 42
• 梯度累积步数: 8
• 总训练批次大小: 64
• 优化器: 使用ExtendedOptimizerNames.ADAMW_TORCH，betas=(0.9,0.999)，epsilon=1e-08，无额外优化器参数
• 学习率调度器类型: linear
• 学习率预热比例: 0.1
• 训练轮数: 4

训练结果

框架版本

• Transformers 4.48.0.dev0
• Pytorch 2.5.1+cu124
• Datasets 2.20.0
• Tokenizers 0.21.0