许可证：apache-2.0
语言：

• 英文
  库名称：transformers

模型详情

OLMo 2 1B模型卡

我们推出OLMo 2系列中最小的模型——OLMo 2 1B。
该模型基于OLMo-mix-1124预训练，并在中期训练阶段使用Dolmino-mix-1124数据集。

OLMo 2是**开放语言模型（OLMo）**系列的最新成员，旨在推动语言模型科学研究。我们已在GitHub开源全部代码、检查点、训练日志及相关细节。

本批次发布的核心模型包括：

安装指南

需使用transformers v4.48或更高版本：

pip install transformers>=4.48

若使用vLLM，需从主分支安装（等待v0.7.4正式发布）。

推理示例

标准HuggingFace transformers库调用方式：

from transformers import AutoModelForCausalLM, AutoTokenizer
olmo = AutoModelForCausalLM.from_pretrained("allenai/OLMo-2-0425-1B")
tokenizer = AutoTokenizer.from_pretrained("allenai/OLMo-2-0425-1B")
message = ["语言建模是"]
inputs = tokenizer(message, return_tensors='pt', return_token_type_ids=False)
response = olmo.generate(**inputs, max_new_tokens=100, do_sample=True, top_k=50, top_p=0.95)
print(tokenizer.batch_decode(response, skip_special_tokens=True)[0])

量化加速方案：

AutoModelForCausalLM.from_pretrained("allenai/OLMo-2-0425-1B",
    torch_dtype=torch.float16,
    load_in_8bit=True)  # 需bitsandbytes支持

模型特性

• 开发机构：艾伦人工智能研究所（AI2）
• 模型类型：基于Transformer的自回归语言模型
• 支持语言：英语
• 许可证：Apache 2.0开源协议
• 联系方式：技术咨询olmo@allenai.org，媒体联系press@allenai.org
• 数据截止：2023年12月

评估结果

核心指标对比（1B参数级）：

训练详情

两阶段训练

1. 初始预训练：

   • 数据集：OLMo-mix-1124（3.9T tokens）
   • 1B模型：约1个epoch

2. 中期训练：

   • 数据集：Dolmino-Mix-1124
   • 混合比例：50%高质量网页数据 + 学术/Q&A/指令/数学内容

局限性声明

与任何基础或微调语言模型类似，用户可能通过提示诱导模型生成有害内容。由于存在潜在偏见，建议用户在实际应用中充分评估风险。需注意模型输出可能存在事实性错误，关键信息应进行验证。

引用格式

@misc{olmo20242olmo2furious,
      title={{2 OLMo 2 Furious}}, 
      author={Team OLMo et al.},
      year={2024},
      eprint={2501.00656},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

模型卡反馈

如发现文档错误，请联系：olmo@allenai.org