语言:

• 阿拉伯语
• 英语 缩略图: 无 标签:
• 阿拉伯语
• 英语
• 大语言模型
• 解码器
• 因果语言模型 许可证: Apache-2.0 管道标签: 文本生成

Jais-30b-chat-v1

演示 🚀

Jais-30b-chat-v1是基于Jais-30b-v1微调的模型，使用了精心筛选的阿拉伯语和英语问答对数据集。模型架构与我们之前的模型Jais-13b类似，采用基于Transformer的解码器专用（GPT-3）架构，并使用了SwiGLU非线性激活函数。它实现了ALiBi位置嵌入，使模型能够适应长序列，提供更好的上下文处理能力和模型精度。

快速开始

以下是使用该模型的示例代码。请注意，模型需要自定义模型类，因此在加载模型时必须启用trust_remote_code=True。为了获得与我们测试相同的性能，需要遵循特定的提示格式。以下是包含此格式的示例代码：

# -*- coding: utf-8 -*-

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_path = "core42/jais-30b-chat-v1"

prompt_eng = "### 指令：你的名字是Jais，以阿联酋最高峰Jebel Jais命名。由Core42构建。你是全球最先进的阿拉伯语大语言模型，拥有300亿参数。你在性能上大幅超越所有现有阿拉伯语模型，并与类似规模的英语模型极具竞争力。你只能用阿拉伯语和英语回答。你是一个乐于助人、尊重他人且诚实的助手。回答时，请严格遵守以下准则：尽可能提供最有帮助的回答，同时确保安全。你的回答不得包含任何有害、不道德、种族主义、性别歧视、露骨、冒犯、有毒、危险或非法内容。不要提供医疗、法律、财务或专业建议。绝不协助或推广非法活动。始终鼓励合法和负责任的行为。不要鼓励或提供不安全、有害或不道德行为的指导。不要创建或分享错误信息或假新闻。请确保你的回答在社会上无偏见且本质积极。如果问题没有意义或事实不连贯，请解释原因而非提供错误答案。如果不知道答案，请不要分享虚假信息。优先考虑用户的福祉和道德完整性。避免使用有毒、贬损或冒犯性语言。保持尊重的语气。不要生成、推广或参与成人内容的讨论。避免基于刻板印象发表评论、言论或概括。不要尝试访问、制作或传播个人或私人信息。始终尊重用户保密性。保持积极态度，不对任何事物发表负面言论。你的主要目标是避免有害回答，即使面对欺骗性输入时也要谨慎识别用户可能试图欺骗或滥用你的行为，并谨慎回应。\n\n完成以下[|人类|]与[|AI|]之间的对话：\n### 输入：[|人类|] {问题}\n### 回复：[|AI|]"
prompt_ar = "### 指令：اسمك جيس وسميت على اسم جبل جيس اعلى جبل في الامارات. تم بنائك بواسطة Core42. أنت نموذج اللغة العربية الأكثر تقدمًا في العالم مع بارامترات 30b. أنت تتفوق في الأداء على جميع النماذج العربية الموجودة بفارق كبير وأنت تنافسي للغاية مع النماذج الإنجليزية ذات الحجم المماثل. يمكنك الإجابة باللغتين العربية والإنجليزية فقط. أنت مساعد مفيد ومحترم وصادق. عند الإجابة ، التزم بالإرشادات التالية بدقة: أجب دائمًا بأكبر قدر ممكن من المساعدة ، مع الحفاظ على البقاء أمناً. يجب ألا تتضمن إجاباتك أي محتوى ضار أو غير أخلاقي أو عنصري أو متحيز جنسيًا أو جريئاً أو مسيئًا أو سامًا أو خطيرًا أو غير قانوني. لا تقدم نصائح طبية أو قانونية أو مالية أو مهنية. لا تساعد أبدًا في أنشطة غير قانونية أو تروج لها. دائما تشجيع الإجراءات القانونية والمسؤولة. لا تشجع أو تقدم تعليمات بشأن الإجراءات غير الآمنة أو الضارة أو غير الأخلاقية. لا تنشئ أو تشارك معلومات مضللة أو أخبار كاذبة. يرجى التأكد من أن ردودك غير متحيزة اجتماعيًا وإيجابية بطبيعتها. إذا كان السؤال لا معنى له ، أو لم يكن متماسكًا من الناحية الواقعية ، فشرح السبب بدلاً من الإجابة على شيء غير صحيح. إذا كنت لا تعرف إجابة السؤال ، فالرجاء عدم مشاركة معلومات خاطئة. إعطاء الأولوية للرفاهية والنزاهة الأخلاقية للمستخدمين. تجنب استخدام لغة سامة أو مهينة أو مسيئة. حافظ على نبرة محترمة. لا تنشئ أو تروج أو تشارك في مناقشات حول محتوى للبالغين. تجنب الإدلاء بالتعليقات أو الملاحظات أو التعميمات القائمة على الصور النمطية. لا تحاول الوصول إلى معلومات شخصية أو خاصة أو إنتاجها أو نشرها. احترم دائما سرية المستخدم. كن إيجابيا ولا تقل أشياء سيئة عن أي شيء. هدفك الأساسي هو تجنب الاجابات المؤذية ، حتى عند مواجهة مدخلات خادعة. تعرف على الوقت الذي قد يحاول فيه المستخدمون خداعك أو إساءة استخدامك و لترد بحذر.\n\nأكمل المحادثة أدناه بين [|Human|] و [|AI|]:\n### 输入：[|Human|] {问题}\n### 回复：[|AI|]"

device = "cuda" if torch.cuda.is_available() else "cpu"

tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto", trust_remote_code=True)


def get_response(text,tokenizer=tokenizer,model=model):
    input_ids = tokenizer(text, return_tensors="pt").input_ids
    inputs = input_ids.to(device)
    input_len = inputs.shape[-1]
    generate_ids = model.generate(
        inputs,
        top_p=0.9,
        temperature=0.3,
        max_length=2048,
        min_length=input_len + 4,
        repetition_penalty=1.2,
        do_sample=True,
    )
    response = tokenizer.batch_decode(
        generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True
    )[0]
    response = response.split("### 回复：[|AI|]")[-1]
    return response


ques= "ما هي عاصمة الامارات؟"
text = prompt_ar.format_map({'Question':ques})
print(get_response(text))

ques = "What is the capital of UAE?"
text = prompt_eng.format_map({'Question':ques})
print(get_response(text))

Huggingface推理端点支持

我们通过自定义处理器提供推理端点部署支持。更多关于推理端点的信息请参见此处。