Jais-13b-chat 模型介绍

这是一个拥有130亿参数、针对阿拉伯语和英语优化的双语大语言微调模型。该模型基于仅解码器的Transformer架构（GPT-3风格），采用SwiGLU非线性激活函数，并实现了ALiBi位置嵌入技术，使其能够处理超长文本序列，从而提升上下文理解能力和模型精确度。

Jais-13b-chat是在Jais-13b基础模型上，使用精选的400万阿拉伯语和600万英语问答对进行微调的产物。我们进一步通过安全导向的指令进行强化训练，并设置了安全提示护栏。其预训练模型Jais-13b训练数据包含1160亿阿拉伯语token和2790亿英语token。

该模型结合了最大规模的阿拉伯语和英语指令微调数据集，特别增加了多轮对话训练，使其能就各类话题展开交流，尤其擅长阿拉伯世界相关主题。

快速开始

以下是使用示例代码。注意该模型需要自定义模型类，加载时必须启用trust_remote_code=True参数。为获得最佳效果，需遵循特定提示格式：

# 此处保留原始代码部分，仅作格式示例
...

Huggingface推理端点

推荐使用GPU [large] · 4x Nvidia Tesla T4或更高规格实例部署，较小实例可能内存不足。

模型详情

• 开发机构: Inception、MBZUAI和Cerebras Systems
• 支持语言: 现代标准阿拉伯语和英语
• 许可证: Apache 2.0
• 基础模型: inception-mbzuai/jais-13b
• 输入输出: 纯文本交互
• 技术报告: 论文链接
• 在线演示: 访问入口

应用场景

本模型采用全开源协议发布，欢迎反馈与合作。作为三方合作的首个成果，在发布时已取得阿拉伯语测评的领先成绩（详见技术报告）。潜在应用包括：

• 研究领域: 供研究者和开发者使用
• 商业应用: 可直接用于对话场景或针对特定用例微调
  • 智能客服
  • 聊天助手

目标受益群体：

• 学术界: 阿拉伯语NLP研究者
• 企业用户: 面向阿拉伯语受众的企业
• 开发者: 需要集成阿拉伯语能力的应用开发者

使用限制

禁止任何违法使用行为，包括但不限于：

• 生成有害/误导/不当内容
• 传播虚假信息
• 处理敏感数据
• 用于高风险决策（医疗/法律/金融等）

偏差与风险

尽管通过多种技术降低了偏差，但与其他大模型一样仍可能存在某些偏见。该模型仅支持阿拉伯语和英语，对其他语言查询可能产生不恰当回应。

使用者需知：本模型可能生成错误/误导/冒犯性内容，相关信息不应被视为专业建议。我们持续改进模型能力，欢迎使用反馈。

训练详情

训练数据

微调数据集包含380万阿拉伯语和590万英语问答对，涵盖多领域指令数据。英语数据来自公开资源，阿拉伯语数据由内部精选并辅以翻译数据增强。

训练参数

训练在Condor Galaxy 1超算平台完成。

评估结果

阿拉伯语测评表现（分数越高越好）：

详细英语测评结果参见技术报告。

生成示例

引用格式

@misc{sengupta2023jais,
      title={Jais and Jais-chat...},
      author={Neha Sengupta et al.},
      year={2023},
      eprint={2308.16149}
}

版权归属Inception人工智能研究所，基于Apache 2.0许可证发布。