license: apache-2.0 language:

• zh
• en pipeline_tag: text-generation library_name: transformers

MiniCPM代码库 | MiniCPM论文 | MiniCPM-V代码库 | 加入Discord社区与微信群

模型简介

MiniCPM3-4B是MiniCPM系列的第三代模型。其综合性能超越Phi-3.5-mini-Instruct和GPT-3.5-Turbo-0125，与近期多个7B~9B量级模型表现相当。

相比MiniCPM1.0/2.0版本，MiniCPM3-4B具备更强大的多功能技能集以实现更通用化的应用场景。该模型支持函数调用功能，并配备代码解释器。具体使用指南请参阅进阶功能。

MiniCPM3-4B拥有32k上下文窗口。结合LLMxMapReduce技术，理论上可处理无限长文本且无需消耗大量内存。

使用指南

Transformers推理

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

path = "openbmb/MiniCPM3-4B"
device = "cuda"

tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(path, torch_dtype=torch.bfloat16, device_map=device, trust_remote_code=True)

messages = [
    {"role": "user", "content": "推荐5个北京的景点。"},
]
model_inputs = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True).to(device)

model_outputs = model.generate(
    model_inputs,
    max_new_tokens=1024,
    top_p=0.7,
    temperature=0.7
)

output_token_ids = [
    model_outputs[i][len(model_inputs[i]):] for i in range(len(model_inputs))
]

responses = tokenizer.batch_decode(output_token_ids, skip_special_tokens=True)[0]
print(responses)

vLLM推理

当前需安装我们维护的vLLM分支版本：

pip install git+https://github.com/OpenBMB/vllm.git@minicpm3

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

model_name = "openbmb/MiniCPM3-4B"
prompt = [{"role": "user", "content": "推荐5个北京的景点。"}]

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
input_text = tokenizer.apply_chat_template(prompt, tokenize=False, add_generation_prompt=True)

llm = LLM(
    model=model_name,
    trust_remote_code=True,
    tensor_parallel_size=1
)
sampling_params = SamplingParams(top_p=0.7, temperature=0.7, max_tokens=1024, repetition_penalty=1.02)

outputs = llm.generate(prompts=input_text, sampling_params=sampling_params)

print(outputs[0].outputs[0].text)

评测结果

声明

• MiniCPM3-4B作为语言模型，其生成内容基于海量文本训练所得
• 模型不具备理解或表达个人观点及价值判断的能力
• 模型生成内容不代表开发者的观点和立场
• 用户在使用生成内容时需自行承担验证责任

许可协议

• 本代码库遵循Apache-2.0开源协议
• MiniCPM3-4B模型权重使用需严格遵守MiniCPM模型许可协议
• 模型权重对学术研究完全开放，填写问卷登记后亦可免费商用

引用文献

@article{hu2024minicpm,
  title={MiniCPM: 基于可扩展训练策略的小模型潜力探索},
  author={胡胜德 and 涂宇歌 and 韩旭 and 何超群 and 崔甘泉 and 龙翔 and 郑智 and 方业伟 and 黄宇翔 and 赵伟林等},
  journal={arXiv预印本 arXiv:2404.06395},
  year={2024}
}