language:

• zh
• en pipeline_tag: text-generation inference: false

百川-7B

百川-7B是由百川智能研发的开源大规模预训练语言模型。基于Transformer架构，这个拥有70亿参数的模型在约1.2万亿token的中英双语语料上进行训练，支持4096长度的上下文窗口。在C-EVAL/MMLU等中英文权威基准测试中，该模型均取得了同规模下的最佳表现。

如需使用百川-7B（如推理、微调等），建议使用配套代码库Baichuan-7B。

模型优势

• 在同等规模模型中达到当前最优水平（参见下方MMLU指标）
• 采用自主构建的中英双语训练语料，针对中文场景深度优化，在C-Eval评测中表现最佳
• 相比完全禁止商用的LLaMA，采用更宽松的开源协议，允许商业用途

快速开始

以下示例展示如何使用百川-7B进行单样本推理（根据作品推测作者），正确输出应为"夜雨寄北->李商隐":

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("baichuan-inc/Baichuan-7B", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("baichuan-inc/Baichuan-7B", device_map="auto", trust_remote_code=True)
inputs = tokenizer('登鹳雀楼->王之涣\n夜雨寄北->', return_tensors='pt')
inputs = inputs.to('cuda:0')
pred = model.generate(**inputs, max_new_tokens=64,repetition_penalty=1.1)
print(tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))

模型详情

基本信息

• 研发机构: 百川智能
• 联系邮箱: opensource@baichuan-inc.com
• 支持语言: 中文/英文
• 许可协议: 百川-7B使用协议

架构设计

模型采用标准Transformer结构，主要技术特点：

• 位置编码: 使用具有良好外推性的rotary-embedding方案
• 前馈网络: 采用SwiGLU激活函数，隐含层维度为11008（基础层的8/3倍）
• 归一化层: 基于RMSNorm的Pre-Normalization

核心参数配置：

使用场景

下游任务

配套开源训练代码支持高效微调，详见Baichuan-7B项目。

使用限制

禁止在未充分评估风险的情况下投入生产环境；禁止任何可能造成危害的不负责任使用。

局限性

模型可能产生事实性错误输出，不建议依赖其生成关键信息。尽管已对训练数据进行严格清洗，仍可能输出不当内容。

训练细节

具体训练配置参见Baichuan-7B项目文档。

评测结果

中文能力

C-Eval

在涵盖52个学科的综合性评测中，采用5-shot测试策略：

高考测评

在中国高考选择题评测中：

AGIEval

在认知能力测评中：

英文能力

MMLU

在57项多选任务评测中：

联系我们