许可证：WTFPL 语言支持：

• 英语
• 中文
• 日语
• 德语 数据集来源：
• JosephusCheung/GuanacoDataset
• meta-math/MetaMathQA
• jondurbin/airoboros-3.1
• WizardLM/WizardLM_evol_instruct_V2_196k
• RyokoAI/ShareGPT52K
• RyokoAI/Fandom23K
• milashkaarshif/MoeGirlPedia_wikitext_raw_archive
• 维基百科
• wiki_lingua
• garage-bAInd/Open-Platypus
• LDJnr/Puffin
• BAAI/COIG
• TigerResearch/tigerbot-zhihu-zh-10k
• liwu/MNBVC
• teknium/openhermes
• CausalLM/Refined-Anime-Text
• microsoft/orca-math-word-problems-200k
• m-a-p/CodeFeedback-Filtered-Instruction

35b-beta-long版本

本次发布的CausalLM/35b-beta-long模型凝聚了我们在大型语言模型微调领域的经验与海量训练数据。我们开源这些权重参数，旨在推动开源社区的发展。

我们选择Cohere公司支持长上下文的多语言350亿参数模型[CohereForAI/c4ai-command-r-v01]作为基础架构。评估显示，该模型在监督微调过程中对训练数据质量表现出最佳响应性，性能超越其他开源大语言模型。虽然其初始SFT/RL阶段聚焦特定任务且采用非商业许可，但我们认为它目前是个人及内部用例的最佳基础模型。

通过整合网络爬取的海量事实内容，我们基于多网页/多文档构建了超过3000万轮的多轮对话数据集。该过程包含严格的人工审核机制和质量管控流程。模型采用BF16精度在完整128K上下文窗口中进行训练，并融合了多个知名开源对话数据集以提升通用对话流畅度。

我们的数据合成方案解决了传统LLM训练语料的关键缺陷。大语言模型往往难以在段落/文档层面进行主题归纳、关键信息提取或对比分析，因此我们专注于在长上下文环境中利用多文档生成事实型数据。该方法结合现有SOTA大模型与人工指导，通过主题摘要、信息抽取和素材对比实现知识合成。

这种训练策略使微调后的模型性能显著提升：幻觉现象减少，长上下文处理能力增强，数学/编程/知识检索等通用能力改善。训练过程同时包含原始素材与合成输出，强化了模型对预训练数据中抽象概念的调用能力。分析表明，原始数据与合成数据的结合对实现均衡性能至关重要。我们还发布了仅使用合成数据训练的中间检查点模型供研究使用。

相较于原版任务专用模型，我们的微调版本在长上下文场景中展现出更稳健的信息检索能力，且无需特定文档格式或提示工程。量化基准测试显示，该模型性能可媲美两倍规模的模型。

由于本模型仅经过监督微调，仍可能存在偏见或不良内容输出。我们采用开源拒绝数据集实施了基础安全防护，过滤非法活动/NSFW内容/暴力相关输出，但实现与人类价值观的深度对齐仍需强化学习阶段。

重要说明

分词器与Cohere原版不同，且采用ChatML对话模板。

压力测试工具：https://github.com/LeonEricsson/llmcontext