language:

• ar
• en thumbnail: null tags:
• 阿拉伯语
• 英语
• 大语言模型
• 解码器
• 因果语言模型
• Jais系列 license: apache-2.0 pipeline_tag: text-generation

Jais系列模型卡片

Jais系列模型是一组全面的英阿双语大语言模型(LLMs)。这些模型专为阿拉伯语优化，同时具备强大的英语能力。我们发布两种基础模型变体：

• 从头预训练的模型(jais-family-*)
• 基于Llama-2自适应预训练的模型(jais-adapted-*)

本次发布包含8种规模的20个模型，参数量从5.9亿到700亿不等，训练数据涵盖高达1.6万亿token的阿拉伯语、英语和代码数据。所有预训练模型都经过指令微调(*-chat)，使用精心筛选的阿拉伯语和英语指令数据。

我们希望通过这次大规模发布加速阿拉伯语NLP研究，并为阿拉伯语使用者和双语社区赋能。我们为阿拉伯语模型成功展示的训练和自适应技术可扩展至其他中低资源语言。

Jais系列详情

• 开发团队: Inception, Cerebras Systems
• 支持语言: 阿拉伯语(标准语)和英语
• 输入: 纯文本数据
• 输出: 文本生成
• 模型规模: 5.9亿, 13亿, 27亿, 67亿, 70亿, 130亿, 300亿, 700亿
• 演示版: 访问在线演示
• 许可证: Apache 2.0

模型架构:

本系列所有模型均为基于Transformer的自回归语言模型(仅解码器架构，类似GPT-3)。

Jais原生模型(jais-family-*)采用从头训练方式，整合了SwiGLU非线性激活函数和ALiBi位置编码。这些架构增强使模型能够处理长序列，提升上下文处理能力和精确度。

Jais自适应模型(jais-adapted-*)基于Llama-2构建，采用RoPE位置嵌入和分组查询注意力机制。我们通过添加阿拉伯语数据扩展了分词器，将Jais-30b词汇表中的32,000个新阿拉伯语token加入Llama-2分词器，使计算效率提升3倍以上。为初始化这些新阿拉伯语token嵌入，我们首先利用两种词汇表共有的英语token学习从Jais-30b嵌入空间到Llama嵌入空间的线性投影，然后将该投影应用于转换现有的Jais-30b阿拉伯语嵌入。

快速开始

以下是使用模型的示例代码。注意该模型需要自定义模型类，因此在加载模型时必须启用trust_remote_code=True。

# -*- coding: utf-8 -*-

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_path = "inceptionai/jais-family-590m"

device = "cuda" if torch.cuda.is_available() else "cpu"

tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto", trust_remote_code=True)


def get_response(text, tokenizer=tokenizer, model=model):
    input_ids = tokenizer(text, return_tensors="pt").input_ids
    inputs = input_ids.to(device)
    input_len = inputs.shape[-1]
    generate_ids = model.generate(
        inputs,
        top_p=0.9,
        temperature=0.3,
        max_length=2048,
        min_length=input_len + 4,
        repetition_penalty=1.2,
        do_sample=True,
    )
    response = tokenizer.batch_decode(
        generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True
    )[0]
    return response


text = "عاصمة دولة الإمارات العربية المتحدة ه"
print(get_response(text))

text = "The capital of UAE is"
print(get_response(text))

训练详情

预训练数据

Jais系列模型使用高达1.6万亿token的多样化英语、阿拉伯语和代码数据进行训练。数据来源包括：

• 网页数据: 公开可用的阿拉伯语和英语网页、维基百科文章、新闻文章和社交媒体内容

• 代码数据: 包含多种编程语言代码，增强模型推理能力

• 书籍数据: 精选公开阿拉伯语和英语书籍，提升长上下文建模和连贯叙事能力

• 科学文献: 部分ArXiv论文用于增强推理和长上下文处理能力

• 合成数据: 通过内部机器翻译系统将高质量英语资源(如英文维基百科和书籍)翻译为阿拉伯语，扩充阿拉伯语数据量

我们对训练数据进行了深度预处理和去重。针对阿拉伯语数据，使用定制预处理流程筛选语言质量高的内容。更多细节请参阅Jais论文。

• Jais原生预训练(jais-family-*): 延续我们在Jais中的语言对齐混合实验，采用阿拉伯语:英语:代码=1:2:0.4的比例。这种从头预训练配方在解决阿拉伯语数据稀缺问题的同时提升双语性能。
• Jais自适应预训练(jais-adapted-*): 对于Llama-2的自适应预训练，我们使用约3340亿阿拉伯语token与英语和代码数据混合。在不同模型规模下调整混合比例，在保持英语性能的同时增强阿拉伯语能力。

微调数据

Jais系列所有聊天模型均使用阿拉伯语和英语的单轮/多轮问答对进行微调。数据源包括经过主题和风格多样性筛选的开源微调数据集，以及增强文化适应性的内部人工标注数据。此外还补充了通过机器翻译、蒸馏和模型自对话生成的合成内容。总体而言，我们的指令微调数据集包含约1000万英语和400万阿拉伯语问答对。

训练流程

在(jais-family-*)模型预训练中，文档被打包成以EOS token分隔的序列，模型以自回归方式训练，对所有token计算损失。对于jais-30b模型，通过逐步加入长上下文文档，将上下文长度从2k扩展到8K再到16K。这种渐进式扩展利用较短上下文长度下的快速初始训练，同时在训练后期逐步支持更大上下文长度。

在(jais-adapted-*)模型的自适应预训练中，我们首先如模型架构所述初始化新分词器和阿拉伯语嵌入。针对观察到的阿拉伯语嵌入norm较高问题，我们采用两阶段训练：第一阶段冻结模型主干，使用约150亿token的双语语料训练嵌入；第二阶段解冻主干，进行全参数持续预训练。

在指令微调中，每个训练样本包含单轮或多轮提示及其响应。不同于每个序列一个样本的做法，我们将多个样本打包在一起，同时对提示token进行损失掩码，通过每批次处理更多样本来加速训练。

训练超参数:

Jais-family-590m

计算基础设施

训练过程在Condor Galaxy(CG)超级计算平台上完成。每个CG包含64个Cerebras CS-2晶圆级引擎(WSE-2)，每个具有40GB SRAM，总计算能力达960 PetaFLOP/s。

评估

我们对Jais模型进行了全面的英阿双语评估，使用LM-harness进行零样本测试。评估维度包括：

• 知识: 模型回答事实性问题的能力
• 推理: 回答需要推理的问题的能力
• 错误信息/偏见: 评估模型生成虚假或误导性信息的倾向及中立性

阿拉伯语评估结果:

阿拉伯语基准测试使用内部机器翻译模型翻译并由阿拉伯语语言学家审核。标有星号(*)的测试为原生阿拉伯语基准；更多细节请参阅Jais论文。我们还加入了基于地区知识的原生阿拉伯语基准ArabicMMLU。

英语评估结果:

GPT-4评估

除LM-Harness评估外，我们还使用GPT-4作为评判员进行开放式生成评估。在Vicuna测试集的80个固定提示上，测量模型响应的成对胜率。英语提示由我们的内部语言学家翻译为阿拉伯语。下表中我们将Jais系列新发布模型与之前版本进行比较：

GPT-4作为评判员对Jais阿拉伯语和英语生成的评估。Jais系列模型在两种语言生成上都显著优于之前的Jais版本。

GPT-4作为评判员对自适应Jais阿拉伯语和英语生成的评估。与Llama-2 instruct相比，阿拉伯语生成质量显著提升，同时英语也有所改进。

除成对比较外，我们还进行了MT-bench风格的1-10分单答案评分。

Jais和自适应Jais阿拉伯语和英语的MT-bench风格单答案评分评估。与早期发布的对应模型相比，响应质量普遍提升，阿拉伯语改进尤为显著。