language:

• ar
• en thumbnail: null tags:
• 阿拉伯语
• 英语
• 大语言模型
• 解码器
• 因果语言模型
• jais系列 license: apache-2.0 pipeline_tag: text-generation

Jais系列模型卡

Jais系列模型是一组全面的英阿双语大语言模型(LLMs)。这些模型专为阿拉伯语优化，同时具备强大的英语能力。我们发布了两类基础模型变体：

• 从头预训练的模型(jais-family-*)
• 基于Llama-2自适应预训练的模型(jais-adapted-*)

本次发布包含8种规模的20个模型，参数量从5.9亿到700亿不等，训练数据涵盖高达1.6万亿token的阿拉伯语、英语和代码数据。所有预训练模型都经过指令微调(*-chat)，使用精心筛选的阿拉伯语和英语指令数据进行对话优化。

我们希望通过这次大规模发布加速阿拉伯语NLP研究，并为阿拉伯语社区和双语用户开启丰富的下游应用场景。我们为阿拉伯语模型成功验证的训练和适配技术，可扩展应用于其他中低资源语言。

Jais系列详情

• 开发团队: Inception, Cerebras Systems
• 支持语言: 阿拉伯语(现代标准阿拉伯语)和英语
• 输入: 纯文本数据
• 输出: 文本生成
• 模型规模: 5.9亿、13亿、27亿、67亿、70亿、130亿、300亿、700亿参数
• 演示版: 访问在线演示
• 许可协议: Apache 2.0

模型架构:

本系列所有模型均为基于Transformer的自回归语言模型(仅解码器架构，类似GPT-3)。

Jais原生模型(jais-family-*)采用从头训练方式，整合了SwiGLU非线性激活函数和ALiBi位置编码。这些架构增强使模型能够处理长序列，提升上下文处理能力和精确度。

Jais适配模型(jais-adapted-*)基于Llama-2架构构建，采用RoPE位置嵌入和分组查询注意力机制。我们通过添加阿拉伯语数据扩展了分词器，将Jais-30b词汇表中的32,000个新阿拉伯语token加入Llama-2分词器，使计算效率提升3倍以上。为初始化这些新阿拉伯语token的嵌入向量，我们首先利用两种词汇表共有的英语token学习从Jais-30b嵌入空间到Llama嵌入空间的线性投影，然后将该投影应用于转换现有的Jais-30b阿拉伯语嵌入向量。

快速开始

以下是使用模型的示例代码。注意该模型需要自定义模型类，因此在加载模型时必须启用trust_remote_code=True参数。

# -*- coding: utf-8 -*-

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_path = "inceptionai/jais-family-13b"

device = "cuda" if torch.cuda.is_available() else "cpu"

tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto", trust_remote_code=True)


def get_response(text, tokenizer=tokenizer, model=model):
    input_ids = tokenizer(text, return_tensors="pt").input_ids
    inputs = input_ids.to(device)
    input_len = inputs.shape[-1]
    generate_ids = model.generate(
        inputs,
        top_p=0.9,
        temperature=0.3,
        max_length=2048,
        min_length=input_len + 4,
        repetition_penalty=1.2,
        do_sample=True,
    )
    response = tokenizer.batch_decode(
        generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True
    )[0]
    return response


text = "عاصمة دولة الإمارات العربية المتحدة ه"
print(get_response(text))

text = "The capital of UAE is"
print(get_response(text))

训练详情

预训练数据

Jais系列模型使用高达1.6万亿token的多样化英语、阿拉伯语和代码数据进行训练。数据来源包括：

• 网页数据: 公开可用的阿拉伯语和英语网页、维基百科文章、新闻内容及社交媒体内容

• 代码数据: 为增强模型推理能力，包含多种编程语言的代码数据

• 书籍数据: 精选公开阿拉伯语和英语书籍数据，提升长程上下文建模和连贯叙事能力

• 科学文献: 包含ArXiv论文子集以提升推理和长上下文处理能力

• 合成数据: 通过内部机器翻译系统将高质量英语资源(如英文维基百科和英语书籍)翻译为阿拉伯语，扩充阿拉伯语数据量

我们对训练数据进行了深度预处理和去重。针对阿拉伯语数据，采用定制预处理流程筛选语言质量高的内容。更多细节请参阅Jais论文。

• Jais原生预训练(jais-family-*): 延续我们在Jais中的语言对齐混合策略，采用阿拉伯语:英语:代码=1:2:0.4的比例。这种从头预训练方案在解决阿拉伯语数据稀缺问题的同时提升双语性能。
• Jais适配预训练(jais-adapted-*): 对于Llama-2的适配预训练，使用约3340亿阿拉伯语token与英语和代码数据混合。根据不同模型规模调整混合比例，在保持英语性能的同时引入强大的阿拉伯语能力。

微调数据

Jais系列所有对话模型均使用阿拉伯语和英语的单轮/多轮问答对进行微调。数据来源包括经过主题和风格多样性筛选的开源微调数据集，以及增强文化适应性的内部人工标注数据。此外，通过机器翻译、蒸馏和模型自对话等合成方法生成补充内容。我们更新的指令微调数据集总计包含约1000万英语和400万阿拉伯语问答对。

训练流程

在(jais-family-*)模型预训练中，文档被打包成以EOS token分隔的序列，模型以自回归方式训练，对所有token计算损失。对于jais-30b模型，通过逐步加入精选的长上下文文档，将上下文长度从2k扩展到8K再到16K。这种渐进式扩展利用较短上下文长度下的快速初始训练，同时在训练后期逐步支持更大上下文长度。

在(jais-adapted-*)模型的适配预训练中，我们首先按照模型架构所述初始化新分词器和阿拉伯语嵌入向量。针对观察到的阿拉伯语嵌入向量范数较高问题，我们采用两阶段训练方案：第一阶段冻结模型主干，仅使用约150亿token的双语料训练嵌入向量；第二阶段解冻主干，进行全参数持续预训练。

在指令微调阶段，每个训练样本包含单轮或多轮提示及其响应。不同于每个序列仅含一个样本的传统方式，我们将多个样本打包在一起，同时对提示token进行损失掩码。这种方法通过每批次处理更多样本加速训练。

训练超参数:

Jais-family-13b

计算基础设施

训练在Condor Galaxy(CG)超级计算平台上完成。每个CG包含64个Cerebras CS-2晶圆级引擎(WSE-2)，配备40GB SRAM，总算力达960 PetaFLOP/s。

评估

我们对Jais模型进行了全面的英阿双语零样本评估，使用LM-harness框架。评估维度包括：

• 知识: 模型回答事实性问题的能力
• 推理: 处理需要推理的问题的能力
• 错误信息/偏见: 评估模型生成虚假/误导信息的倾向及中立性

阿拉伯语评估结果:

阿拉伯语基准测试使用内部机器翻译模型翻译并由阿拉伯语语言学家审核。标有星号(*)的测试为原生阿拉伯语基准，详见Jais论文。我们还引入了基于地区知识的原生阿拉伯语基准ArabicMMLU。

英语评估结果:

GPT-4评估

除LM-Harness评估外，我们还使用GPT-4作为评判员进行开放式生成评估。在Vicuna测试集的80个固定提示上，测量模型响应的成对胜率。英语提示由我们的内部语言学家翻译为阿拉伯语。下表中我们将本次发布的jais系列模型与之前版本进行比较：

GPT-4作为评判员对Jais阿拉伯语和英语生成的评估。Jais系列模型在两种语言生成上都显著优于早期Jais版本。

GPT-4对适配Jais阿拉伯语和英语生成的评估。与Llama-2指令模型相比，阿拉伯语生成质量显著提升，同时英语也有改进。

除成对比较外，我们还进行MT-bench风格的单一回答评分(1-10分制)：

MT-bench风格单一回答评分评估。与早期发布的对应模型相比，响应质量普遍提升，阿拉伯语改进尤为显著。

预期用途

我们在完全开源许可下发布Jais系列模型，欢迎所有反馈和合作机会。从5.9亿到700亿参数的广泛规模覆盖，这套双语模型可满足多样化的应用场景。部分潜在下游应用包括：

• 研究用途: Jais系列为阿拉伯语研究者和NLP从业者提供从计算高效到先进的多种模型规模

  • 自然语言理解和生成任务
  • 双语预训练和适配预训练模型中文化对齐的机制可解释性分析
  • 阿拉伯语文化和语言现象的定量研究

• 商业用途: Jais 300亿和700亿参数的对话模型适合直接用于聊天应用(配合适当提示)或针对特定任务进一步微调

  • 为阿拉伯语用户开发聊天助手
  • 情感分析获取本地市场和客户趋势洞察
  • 阿拉伯语-英语双语文档摘要

我们希望受益的受众群体：

• 学术界: 阿拉伯语自然语言处理研究者
• 企业: 面向阿拉伯语受众的公司
• 开发者: 在应用中集成阿拉伯语能力的开发人员

非适用场景

虽然Jais系列是强大的英阿双语模型，但必须了解其局限性和潜在滥用风险。禁止以任何违反适用法律法规的方式使用本模型。

以下是不应使用模型的示例场景：

• 恶意用途: 不得用于生成有害、误导或不适当内容，包括但不限于：

  • 生成或传播仇恨言论、暴力或歧视内容
  • 传播错误信息或虚假新闻
  • 从事或促进非法活动

• 敏感信息: 不得用于处理或生成个人、机密或敏感信息

• 全语言泛化: Jais系列为双语模型，专为阿拉伯语和英语优化。不应假定其对其他语言或方言具有同等熟练度

• 高风险决策: 未经人工监督，不得用于做出高风险决策，包括医疗、法律、金融或安全关键决策

偏见、风险与限制

Jais系列基于Inception部分策划的公开可用数据训练。我们采用了多种技术减少模型偏见，但与所有LLM模型一样，本模型仍可能表现出某些偏见。

微调变体作为阿拉伯语和英语用户的AI助手训练，仅限于处理这两种语言的查询，对其他语言查询可能无法生成适当响应。

使用Jais即表示您知悉并接受：与任何大语言模型一样，它可能生成不正确、误导性和/或冒犯性信息。这些信息不作为建议，不应以任何方式依赖，我们不对其内容或使用后果负责。我们持续开发能力更强的模型，欢迎任何关于模型的反馈。

版权归Inception Institute of Artificial Intelligence Ltd所有。JAIS依据Apache License 2.0("许可证")提供。除非符合许可证要求，否则不得使用JAIS。您可通过https://www.apache.org/licenses/LICENSE-2.0获取许可证副本。

除非适用法律要求或书面同意，JAIS按"原样"分发，不提供任何明示或默示的担保或条件。请参阅许可证了解具体的语言权限和限制。

总结

我们发布Jais系列英阿双语模型。广泛的预训练模型规模、将英语中心模型适配阿拉伯语的方案，以及全规模微调，为阿拉伯语场景解锁了众多商业和学术应用场景。

通过这次发布，我们旨在让阿拉伯语NLP研究者和公司更易获取大语言模型，提供比英语中心模型更具文化理解力的原生阿拉伯语模型。我们采用的预训练、微调和阿拉伯语适配策略可扩展至其他中低资源语言，为满足本地化需求的语言专属和易获取模型铺平道路。

引用信息

@misc{sengupta2023jais,
      title={Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models}, 
      author={Neha Sengupta, Sunil Kumar Sahu, Bokang Jia, Satheesh Katipomu, Haonan Li, Fajri Koto, William Marshall, Gurpreet Gosal, Cynthia Liu, Zhiming Chen, Osama Mohammed Afzal, Samta Kamboj, Onkar Pandit, Rahul Pal, Lalit Pradhan, Zain Muhammad Mujahid, Massa Baali, Xudong Han, Sondos Mahmoud Bsharat, Alham Fikri Aji, Zhiqiang Shen, Zhengzhong Liu, Natalia Vassilieva, Joel Hestness, Andy Hock, Andrew Feldman, Jonathan Lee, Andrew Jackson, Hector Xuguang Ren, Preslav Nakov, Timothy Baldwin and Eric Xing},
      year={2023},
      eprint={2308.16149},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

@article{jaisfamilymodelcard,
    title={Jais Family Model Card},
    author={Inception},
    year={2024},
    url = {https://huggingface.co/inceptionai/jais-family-30b-16k-chat/blob/main/README.md}
}