许可证：Apache-2.0
支持语言：

• 英语

数据集：

• togethercomputer/RedPajama-Data-1T
• OpenAssistant/oasst1
• databricks/databricks-dolly-15k

示例交互：

• 文本：

  <human>: 写一封邀请朋友周五来我家参加聚餐的邮件，请他们自带食物分享。  
  <bot>:  
  

  示例标题：邮件撰写
• 文本：

  <human>: 列出旧金山的游玩清单  
  <bot>:  
  

  示例标题：头脑风暴

推理参数：

• 温度值：0.7
• 顶部概率阈值：0.7
• 顶部k值：50
• 最大新生成标记数：128

RedPajama-INCITE-7B-Chat对话模型

该模型由Together联合开源AI社区领袖共同开发，包括Ontocord.ai、ETH DS3Lab、AAI CERC、蒙特利尔大学、MILA魁北克人工智能研究所、斯坦福基础模型研究中心(CRFM)、斯坦福Hazy Research团队及LAION。

基于OASST1和Dolly2数据微调以增强对话能力：

• 基础模型：RedPajama-INCITE-7B-Base
• 指令调优版：RedPajama-INCITE-7B-Instruct
• 对话专用版：RedPajama-INCITE-7B-Chat

模型详情

• 开发方：Together Computer
• 模型类型：语言模型
• 支持语言：英语
• 许可协议：Apache 2.0
• 模型描述：69亿参数预训练语言模型

快速开始

需确保transformers版本≥4.25.1

对话格式示例：

<human>: [指令]  
<bot>:  

GPU推理

需16GB显存GPU

import torch  
from transformers import AutoTokenizer, AutoModelForCausalLM  

# 初始化  
tokenizer = AutoTokenizer.from_pretrained("togethercomputer/RedPajama-INCITE-7B-Chat")  
model = AutoModelForCausalLM.from_pretrained("togethercomputer/RedPajama-INCITE-7B-Chat", torch_dtype=torch.float16).to("cuda:0")  

# 推理示例  
prompt = "<human>: 艾伦·图灵是谁？\n<bot>:"  
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)  
outputs = model.generate(**inputs, max_new_tokens=128, do_sample=True, temperature=0.7, top_p=0.7, top_k=50)  
print(tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:]))  
"""  
艾伦·麦席森·图灵（1912年6月23日－1954年6月7日）是英国计算机科学家、数学家、逻辑学家、密码分析学家、哲学家和理论生物学家。  
"""  

Int8量化GPU推理

需12GB显存

安装依赖：

pip install accelerate bitsandbytes  

model = AutoModelForCausalLM.from_pretrained("togethercomputer/RedPajama-INCITE-7B-Chat", device_map="auto", load_in_8bit=True)  

CPU推理

model = AutoModelForCausalLM.from_pretrained("togethercomputer/RedPajama-INCITE-7B-Chat", torch_dtype=torch.bfloat16)  

注：因CPU不支持fp16的LayerNorm实现，故采用bfloat16

使用范围

直接使用

禁止用途详见下文

滥用与恶意使用

用户须确保模型使用符合伦理规范

超范围使用

本模型专为语言建模设计，不适用于：

• 安全关键决策
• 影响重大的社会决策

禁止行为

包括但不限于：

• 生成虚假信息/仇恨言论
• 仿冒他人身份
• 网络暴力/骚扰
• 传播恶意软件/钓鱼内容

局限性

模型可能对复杂/训练数据外问题响应不准确，欢迎社区贡献改进

训练详情

• 训练数据：RedPajama-Data-1T
• 硬件：8块A100
• 优化器：Adam
• 训练量：7900万标记

社区

加入Discord社区