许可证：apache-2.0
支持语言：

• 英语
• 阿拉伯语
  库名称：transformers
  标签：
• 英语
• 阿拉伯语
• 解码器
• 因果语言模型
• 大语言模型
• 4位量化

Jais-7b-chat（双重量化版本）

此模型是core42团队开发的jais-13b-chat的双重量化版本，旨在让GPU资源有限的设备也能运行该模型。若需执行高质量任务，建议使用未量化的13B原版模型。

模型创作者：Core42
原始模型：jais-13b-chat

运行方法

直接作为文本生成流水线任务运行即可。

系统要求

已在Google Colab Pro的T4实例上测试通过。

操作步骤

1. 首先安装依赖库：

pip install -Uq huggingface_hub transformers bitsandbytes xformers accelerate

2. 创建流水线：

from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline, TextStreamer, BitsAndBytesConfig

tokenizer = AutoTokenizer.from_pretrained("erfanvaredi/jais-7b-chat")
model = AutoModelForCausalLM.from_pretrained(
    "erfanvaredi/jais-7b-chat",
    trust_remote_code=True,
    device_map='auto',
)

# 创建文本生成流水线
pipe = pipeline(model=model, tokenizer=tokenizer, task='text-generation')

3. 构建对话提示：

chat = [
    {"role": "用户", "content": '给我讲一个关于大语言模型的有趣笑话。'},
]
prompt = pipe.tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)

4. 创建流式输出器（可选，如需实时生成文本则启用）：

streamer = TextStreamer(
    tokenizer,
    skip_prompt=True,
    stop_token=[tokenizer.eos_token]
)

5. 向模型提问：

pipe(
  prompt,
  streamer=streamer,
  max_new_tokens=256,
  temperature=0,
)

:)