许可证：Apache-2.0
任务类型：文本生成

书生·浦语（InternLM）

 

InternLM ^热门

 

💻GitHub仓库 • 🤔提交问题

简介

上海人工智能实验室联合商汤科技、香港中文大学和复旦大学正式发布200亿参数预训练模型InternLM-20B。该模型在超过2.3T包含高质量中英文及代码的token数据上进行预训练，其对话版本还经过SFT和RLHF训练，能更安全高效地满足用户需求。

模型架构上，InternLM-20B采用60层深度设计，超越常规7B/13B模型的32/40层结构。在参数量受限时增加层数可显著提升综合能力。相比InternLM-7B，其训练数据经过更严格清洗，并补充了高知识密度与强化推理能力的数据集，在理解、推理、数学及编程等核心能力维度表现突出。主要特性包括：

• 卓越的综合性能
• 强大的工具调用能力
• 支持16k上下文窗口（通过推理外推实现）
• 更优的价值对齐

性能评测

在OpenCompass五大能力维度评测中，InternLM-20B全面领先（加粗项为13B-33B参数范围内的最佳成绩）：

主流开源模型在典型数据集上的表现对比：

InternLM-20B综合性能显著超越13B量级开源模型，部分推理能力接近Llama-65B水平。

Transformers调用

使用以下代码加载模型：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("internlm/internlm-20b", trust_remote_code=True)
# 使用bfloat16精度加载防止显存溢出
model = AutoModelForCausalLM.from_pretrained("internlm/internlm-20b", torch_dtype=torch.bfloat16, trust_remote_code=True).cuda()
model = model.eval()
inputs = tokenizer(["来到美丽的大自然，我们发现"], return_tensors="pt").to("cuda")
gen_kwargs = {"max_length": 128, "top_p": 0.8, "temperature": 0.8, "do_sample": True, "repetition_penalty": 1.05}
output = tokenizer.decode(model.generate(**inputs, **gen_kwargs)[0], skip_special_tokens=True)
print(output)  # 输出生成的自然场景描述文本

注意事项： 虽然我们致力于提升模型安全性，但由于模型规模与概率生成特性，仍可能产生包含偏见/有害内容的输出。请勿传播此类内容，本项目不承担由此引发的责任。

开源许可

代码遵循Apache-2.0协议，模型权重对学术研究完全开放，商业使用需填写申请表。合作咨询请联系internlm@pjlab.org.cn。