pipeline_tag: 文本生成

书生·浦语

 

书生·浦语 ^热门

 

💻GitHub仓库 • 🤔问题反馈

简介

书生·浦语开源了面向实用场景的70亿参数基础模型（InternLM-7B）。该模型具有以下特点：

• 基于万亿级高质量语料训练，构建强大知识体系
• 提供多样化工具集，支持用户灵活定制工作流

InternLM-7B

性能评测

我们使用开源评测工具OpenCompass从学科能力、语言能力、知识能力、推理能力和理解能力五个维度对InternLM进行全面评估。部分评测结果如下表所示，更多结果请访问OpenCompass榜单。

• 评测结果来自OpenCompass 20230706(标*数据引自原论文)，详细配置参见OpenCompass配置文件
• 因OpenCompass版本迭代可能导致数值差异，请以最新版为准

局限性声明： 尽管我们在训练中高度重视模型安全性，致力于使其输出符合伦理法律要求，但由于模型规模及概率生成特性，仍可能产生包含偏见、歧视等有害内容的不当输出。请勿传播此类内容，因传播不良信息导致的后果本项目概不负责。

Transformers加载方式

通过以下代码加载InternLM 7B Chat模型：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("internlm/internlm-7b", trust_remote_code=True)
# 设置`torch_dtype=torch.float16`以float16精度加载，避免float32导致显存不足
model = AutoModelForCausalLM.from_pretrained("internlm/internlm-7b", torch_dtype=torch.float16, trust_remote_code=True).cuda()
model = model.eval()
inputs = tokenizer(["来到美丽的大自然，我们发现"], return_tensors="pt")
for k,v in inputs.items():
    inputs[k] = v.cuda()
gen_kwargs = {"max_length": 128, "top_p": 0.8, "temperature": 0.8, "do_sample": True, "repetition_penalty": 1.1}
output = model.generate(**inputs, **gen_kwargs)
output = tokenizer.decode(output[0].tolist(), skip_special_tokens=True)
print(output)
# 示例输出：来到美丽的大自然，我们发现各种各样的花千奇百怪。有的颜色鲜艳亮丽，有的花瓣粉嫩如少女脸庞...

开源许可

代码遵循Apache-2.0协议开源，模型权重对学术研究完全开放，同时允许免费商业使用（需填写申请表）。其他合作咨询请联系internlm@pjlab.org.cn。