库名称：transformers
许可证：mit
语言：

• 英文
  标签：
• 时间一致性
• modernbert
• glue
  管道标签：填充掩码
  推理：false

ChronoBERT

模型描述

ChronoBERT是一系列高性能时间一致性大语言模型（LLM），旨在消除前瞻性偏差和训练数据泄露，同时在时间敏感应用中保持良好的语言理解能力。该模型基于多样化、高质量、开源且带时间戳的文本进行预训练，以确保时间一致性。

该系列所有模型在GLUE基准测试中的得分均超过标准BERT。这一方法保留了历史分析的完整性，并支持更可靠的经济和金融建模。

• 开发者： Songrun He、Linying Lv、Asaf Manela、Jimmy Wu
• 模型类型： 基于Transformer的双向编码器（ModernBERT架构）
• 语言（NLP）： 英语
• 许可证： MIT许可证

模型来源

• 论文：《时间一致性大语言模型》（He、Lv、Manela、Wu，2025）

如何开始使用模型

该模型兼容transformers库（版本需≥4.48.0）：

pip install -U transformers>=4.48.0  
pip install flash-attn  

以下是使用模型的示例代码：

from transformers import AutoTokenizer, AutoModel  
device = 'cuda:0'  

tokenizer = AutoTokenizer.from_pretrained("manelalab/chrono-bert-v1-19991231")  
model = AutoModel.from_pretrained("manelalab/chrono-bert-v1-19991231").to(device)  

text = "显然，时间连续体已被破坏，产生了一个新的时间事件序列，导致了这一替代现实。——布朗博士，《回到未来2》"  

inputs = tokenizer(text, return_tensors="pt").to(device)  
outputs = model(**inputs)  

训练详情

训练数据

• 预训练语料： 初始模型chrono-bert-v1-19991231基于4600亿个2000年之前的多样化、高质量开源文本数据进行预训练，确保无后续数据泄露。
• 增量更新： 2000年至2024年每年更新，新增650亿个带时间戳的文本数据。

训练流程

• 架构： 基于ModernBERT，采用旋转嵌入和闪存注意力机制。
• 目标： 掩码标记预测。

评估

测试数据、因素与指标

• 语言理解： 基于GLUE基准测试任务评估。
• 金融预测： 使用基于道琼斯新闻数据的回报预测任务评估。
• 对比模型： ChronoBERT与BERT、FinBERT、StoriesLM-v1-1963及Llama 3.1进行对比测试。

结果

• GLUE得分： chrono-bert-v1-19991231和chrono-bert-v1-20241231分别获得84.71和85.54分，优于BERT（84.52）。
• 股票回报预测： 在2008年1月至2023年7月的样本中，chrono-bert-v1-realtime的多空组合夏普比率为4.80，优于BERT、FinBERT和StoriesLM-v1-1963，与**Llama 3.1 8B（4.90）**表现相当。

引用

@article{He2025ChronoBERT,  
  title={时间一致性大语言模型},  
  author={He, Songrun and Lv, Linying and Manela, Asaf and Wu, Jimmy},  
  journal={工作论文},  
  year={2025}  
}  

模型卡作者

• Songrun He（圣路易斯华盛顿大学，h.songrun@wustl.edu）
• Linying Lv（圣路易斯华盛顿大学，llyu@wustl.edu）
• Asaf Manela（圣路易斯华盛顿大学，amanela@wustl.edu）
• Jimmy Wu（圣路易斯华盛顿大学，jimmywu@wustl.edu）