pipeline_tag: 文本生成 license: 其他

书生·浦语 (InternLM)

 

书生·浦语 ^热门

 

💻GitHub仓库 • 🤔报告问题 • 📜技术报告

简介

InternLM2-1.8B是第二代书生·浦语系列的18亿参数版本。为了方便用户使用和研究，InternLM2-1.8B提供了三个版本的开源模型，分别是：

• InternLM2-1.8B：具有高质量和高适应灵活性的基础模型，是下游深度适应的理想起点。
• InternLM2-Chat-1.8B-SFT：在InternLM2-1.8B基础上通过监督微调（SFT）得到的对话模型。
• InternLM2-Chat-1.8B：在InternLM2-Chat-1.8B-SFT基础上通过在线RLHF进一步对齐的模型，在指令遵循、聊天体验和函数调用方面表现更佳，推荐用于下游应用。

InternLM2具有以下技术特点：

• 有效支持长达20万字符的超长上下文：模型在20万字符的长输入中几乎完美实现了“大海捞针”任务，并在LongBench和L-Eval等长文本任务中领先于开源模型。
• 综合性能全面提升：相比上一代模型，在推理、数学和编程等方面的能力均有显著提升。

InternLM2-1.8B

性能评估

我们使用开源评估工具OpenCompass对InternLM2在多个重要基准上进行了评估。部分评估结果如下表所示，更多评估结果请访问OpenCompass排行榜。

• 评估结果来自OpenCompass，评估配置可在OpenCompass提供的配置文件中找到。
• 由于OpenCompass版本迭代，评估数据可能存在数值差异，请以OpenCompass的最新评估结果为准。

**局限性：**尽管我们在训练过程中尽力确保模型的安全性，并鼓励模型生成符合伦理和法律要求的文本，但由于模型规模和概率生成范式，模型仍可能产生意外输出，例如包含偏见、歧视或其他有害内容的回复。请勿传播此类内容。对于因传播有害信息导致的任何后果，我们不承担责任。

通过Transformers加载

使用以下代码通过Transformers加载InternLM2-1.8B模型：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("internlm/internlm2-1_8b", trust_remote_code=True)
# 设置`torch_dtype=torch.float16`以float16精度加载模型，否则会以float32加载可能导致内存不足错误。
model = AutoModelForCausalLM.from_pretrained("internlm/internlm2-1_8b", torch_dtype=torch.float16, trust_remote_code=True).cuda()
model = model.eval()
inputs = tokenizer(["一朵美丽的花"], return_tensors="pt")
for k,v in inputs.items():
    inputs[k] = v.cuda()
gen_kwargs = {"max_length": 128, "top_p": 0.8, "temperature": 0.8, "do_sample": True, "repetition_penalty": 1.0}
output = model.generate(**inputs, **gen_kwargs)
output = tokenizer.decode(output[0].tolist(), skip_special_tokens=True)
print(output)
# 一朵美丽的开花植物，原产于南美洲安第斯山脉的热带雨林。
# 这种植物也被称为猴花、猴面花和野生兰花。
# 这种花原产于亚马逊盆地，分布在亚马逊河流域西部的安第斯山脉森林中。
# 在安第斯山脉和亚马逊地区的森林中也有发现。
# 它生长在海拔5000至8000英尺之间。
# 猴花的花朵呈黄色和粉色，形状独特。

开源许可证

代码遵循Apache-2.0许可证开源，模型权重对学术研究完全开放，并允许免费商业使用。如需申请商业许可证，请填写申请表（英文）/申请表（中文）。其他问题或合作请联系internlm@pjlab.org.cn。

引用

@misc{cai2024internlm2,
      title={InternLM2技术报告},
      author={蔡政、曹茂松、陈豪炯、陈凯、陈可瑜、陈鑫、陈迅、陈泽辉、陈志、褚沛、董晓艺、段浩东、范琦、费昭烨、高阳、葛佳烨、顾晨雅、顾雨哲、桂涛、郭爱佳、郭启鹏、何聪慧、胡英凡、黄婷、蒋涛、焦鹏龙、金振江、雷志凯、李佳星、李静雯、李林阳、李帅斌、李伟、李一宁、刘宏伟、刘江宁、洪佳伟、刘凯文、刘奎坤、刘笑然、吕成奇、吕海军、吕凯、马莉、马润元、马泽润、宁文昌、欧阳林克、邱建涛、曲元、尚福凯、邵云帆、宋德民、宋子凡、隋志浩、孙鹏、孙宇、唐焕泽、王斌、王国腾、王佳琪、王佳玉、王瑞、王宇东、王子怡、魏星剑、翁启真、吴凡、熊应通、徐超、徐瑞良、严航、严一荣、杨晓桂、叶浩宸、应怀远、俞佳、俞静、臧宇航、张楚瑜、张莉、张攀、张鹏、张瑞杰、张硕、张松阳、张文健、张文伟、张星辰、张新月、赵辉、赵倩、赵晓萌、周凤哲、周在达、卓靖明、邹宜成、邱锡鹏、乔宇、林达华},
      year={2024},
      eprint={2403.17297},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}