license: apache-2.0 pipeline_tag: text-generation

书生·浦语

 

书生·浦语 ^热门

 

💻GitHub仓库 • 🤔问题反馈 • 📜技术报告

简介

在保持InternLM2架构的同时，我们开展了多方面的技术创新探索，最终推出了新一代模型InternLM2.5。InternLM2.5充分利用海量合成数据，通过模型能力飞轮持续实现自我迭代优化。相较于InternLM2 1.8B版本，InternLM2.5 1.8B在推理性能上取得了显著提升。

InternLM2.5-1.8B

性能评测

我们使用开源评测工具OpenCompass对InternLM2.5进行了多维度评估。部分核心评测结果如下表示，欢迎访问OpenCompass榜单获取完整评测数据。

• 本评测数据源自OpenCompass开源项目，具体评测配置详见其提供的配置文件
• 由于OpenCompass版本迭代可能导致数据波动，建议以最新评测结果为准

使用限制： 尽管我们在训练过程中严格把控模型安全性，致力于使其输出符合伦理和法律规范，但受模型规模及概率生成机制限制，仍可能产生包含偏见、歧视等有害内容的不当输出。请勿传播此类内容，因传播不良信息导致的一切后果由传播者自行承担。

Transformers调用指南

通过以下代码使用Transformers加载InternLM2.5-1.8B模型：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("internlm/internlm2_5-1_8b", trust_remote_code=True)
# 设置`torch_dtype=torch.float16`以float16精度加载模型，避免默认float32精度可能引发的显存溢出
model = AutoModelForCausalLM.from_pretrained("internlm/internlm2_5-1_8b", torch_dtype=torch.float16, trust_remote_code=True).cuda()
model = model.eval()
inputs = tokenizer(["绚丽的自然风光"], return_tensors="pt")
for k,v in inputs.items():
    inputs[k] = v.cuda()
gen_kwargs = {"max_length": 128, "top_p": 0.8, "temperature": 0.8, "do_sample": True, "repetition_penalty": 1.0}
output = model.generate(**inputs, **gen_kwargs)
output = tokenizer.decode(output[0].tolist(), skip_special_tokens=True)
print(output)

开源许可

本代码库遵循Apache-2.0开源协议。模型权重全面开放学术研究使用，并允许免费商业应用（需填写商业授权申请表）。其他合作需求请联系internlm@pjlab.org.cn。

引用文献

@misc{cai2024internlm2,
      title={InternLM2技术报告},
      author={蔡峥 and 曹茂松 and 陈豪炯 and 陈恺 and 陈科宇 and 陈昕 and 陈洵 and 陈泽晖 and 陈志 and 褚培 and 董晓艺 and 段昊东 and 范琪 and 费昭烨 and 高扬 and 葛佳怡 and 顾辰宇 and 顾雨泽 and 桂韬 and 郭爱佳 and 郭启鹏 and 何从辉 and 胡英芳 and 黄婷 and 姜涛 and 焦鹏龙 and 金振疆 and 雷志凯 and 李嘉颢 and 李静雯 and 李林阳 and 李帅彬 and 李威 and 李奕宁 and 刘宏伟 and 刘江宁 and 洪佳伟 and 刘凯文 and 刘奎坤 and 刘笑然 and 吕承起 and 吕海俊 and 吕凯 and 马莉 and 马润远 and 马泽润 and 宁文昌 and 欧阳林可 and 邱建涛 and 屈媛 and 尚福凯 and 邵云帆 and 宋德民 and 宋子凡 and 隋志浩 and 孙鹏 and 孙宇 and 唐焕泽 and 王斌 and 王国腾 and 王佳琪 and 王嘉宇 and 王瑞 and 王宇栋 and 王子怡 and 魏星剑 and 翁启真 and 吴凡 and 熊颖童 and 徐超 and 徐瑞亮 and 严航 and 严一荣 and 杨晓桂 and 叶皓宸 and 应怀原 and 俞佳 and 余婧 and 臧宇航 and 张楚渝 and 张莉 and 张磐 and 张鹏 and 张瑞杰 and 张硕 and 张松阳 and 张文健 and 张文蔚 and 张星辰 and 张馨月 and 赵辉 and 赵倩 and 赵晓萌 and 周凤哲 and 周载道 and 卓靖明 and 邹宜成 and 邱锡鹏 and 乔宇 and 林达华},
      year={2024},
      eprint={2403.17297},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}