Jais 13b

由 inceptionai 开发

JAIS-13B是一个130亿参数的双语（阿拉伯语和英语）预训练大语言模型，基于GPT-3架构，专为阿拉伯语和英语优化设计。

大型语言模型

Transformers

支持多种语言

开源协议:Apache-2.0 #阿拉伯语-英语双语 #ALiBi长序列处理 #阿拉伯语NLP优化

下载量 1,051

发布时间 : 8/17/2023

模型介绍

内容详情

替代品

模型简介

JAIS-13B是一个强大的阿拉伯语-英语双语大语言模型，采用Transformer架构，支持文本生成任务。该模型在阿拉伯语处理方面达到当时最优水平，适用于研究和商业用途。

模型特点

双语能力

专为阿拉伯语和英语优化，在阿拉伯语处理方面表现优异

长序列处理

采用ALiBi位置嵌入技术，支持外推处理长序列

开源协议

基于Apache 2.0许可证发布，允许研究和商业用途

模型能力

阿拉伯语文本生成

英语文本生成

代码生成

问答系统

聊天机器人

使用案例

研究用途

阿拉伯语NLP研究

用于阿拉伯语自然语言处理研究

商业应用

客户服务

作为基础模型针对特定场景进行微调，用于客户服务

聊天助手

开发面向阿拉伯语用户的聊天助手

Jais-13b

这是一个拥有130亿参数的双语（阿拉伯语和英语）预训练大语言模型，训练数据集包含720亿阿拉伯语token和2790亿英语/代码token。阿拉伯语数据迭代训练了1.6个周期（英语/代码数据为1个周期），总计训练了3950亿token。

该模型基于仅解码器的Transformer架构（GPT-3），采用SwiGLU非线性激活函数，并实现了ALiBi位置嵌入技术，使模型能够外推处理长序列，从而提升上下文处理能力和模型精度。

快速开始

以下是使用该模型的示例代码。请注意该模型需要自定义模型类，因此在加载模型时必须启用trust_remote_code=True。此代码已在transformers==4.28.0版本测试通过。

# -*- coding: utf-8 -*-

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_path = "core42/jais-13b"

device = "cuda" if torch.cuda.is_available() else "cpu"

tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto", trust_remote_code=True)


def get_response(text,tokenizer=tokenizer,model=model):
    input_ids = tokenizer(text, return_tensors="pt").input_ids
    inputs = input_ids.to(device)
    input_len = inputs.shape[-1]
    generate_ids = model.generate(
        inputs,
        top_p=0.9,
        temperature=0.3,
        max_length=200-input_len,
        min_length=input_len + 4,
        repetition_penalty=1.2,
        do_sample=True,
    )
    response = tokenizer.batch_decode(
        generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True
    )[0]
    return response


text= "عاصمة دولة الإمارات العربية المتحدة ه"
print(get_response(text))

text = "The capital of UAE is"
print(get_response(text))