数据集:

• stingning/ultrachat 语言:
• 中文
• 英文 库名称: transformers 管道标签: 文本生成 标签:
• MiniCPM
• ModelBest
• THUNLP
• 对话式
• 自定义代码

MiniCPM-2B-128k

OpenBMB技术博客系列

MiniCPM是由面壁智能与清华大学自然语言处理实验室联合开发的端侧大语言模型，非词嵌入参数量仅24亿（2.4B）。 MiniCPM-2B-128k是基于MiniCPM-2B的长上下文扩展实验版本。 据我们所知，这是首个参数量小于3B却支持128k上下文的轻量级语言模型。 相较于先前发布的MiniCPM-2B，主要改进包括：

• 支持128k上下文窗口，在综合长文本评测InfiniteBench中取得7B以下模型最佳成绩，但在4k以内短文本场景性能略有下降
• 为方便开发者使用，模型对齐时将<用户>{}指令模板更新为chatml格式（用户\n{}\n助手\n），便于通过vllm框架的OpenAI兼容服务器模式部署
• 因并行计算需求，取消词嵌入权重共享并将词表扩展至127660

更多技术细节请参阅GitHub仓库和技术博客。

评测结果

注意：经测试发现Huggingface生成质量略低于vLLM且速度显著较慢，推荐使用vLLM进行基准测试。

局限性

• 受模型规模限制，可能出现幻觉现象。由于DPO模型倾向于生成长文本，幻觉概率更高。我们将持续迭代优化MiniCPM模型
• 为保持学术研究通用性，未进行身份认同训练。因使用ShareGPT开源语料，可能输出类似GPT的身份信息
• 模型输出对提示词敏感，多次尝试可能结果不一致
• 知识记忆准确性有限，后续将结合RAG技术增强知识能力

模型使用

• 安装transformers>=4.36.0和accelerate后运行以下代码
• 重要：必须在from_pretrained中显式指定模型数据类型以避免计算误差

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
torch.manual_seed(0)

path = 'openbmb/MiniCPM-2B-128k'
tokenizer = AutoTokenizer.from_pretrained(path)
model = AutoModelForCausalLM.from_pretrained(path, torch_dtype=torch.bfloat16, device_map='cuda', trust_remote_code=True)

responds, history = model.chat(tokenizer, "山东省最高的山是哪座山, 它比黄山高还是矮？差距多少？", temperature=0.8, top_p=0.8)
print(responds)