license: other license_name: gemma-terms-of-use license_link: https://ai.google.dev/gemma/terms language:

• en
• he library_name: transformers

希伯来语-Gemma-11B指令模型

基础模型版本：

• 2024年3月7日: 希伯来语-Gemma-11B
• 2024年3月16日: 希伯来语-Gemma-11B-V2

指令微调版本：

• 2024年3月7日: 希伯来语-Gemma-11B指令模型

希伯来语-Gemma-11B指令大语言模型是基于希伯来语-Gemma-11B生成式文本模型，通过多轮对话数据集进行指令微调的版本。

该模型在gemma-7b基础上继续预训练，扩展至更大规模，并额外训练了包含30亿英语和希伯来语文本的标记数据。

指令格式规范

必须严格遵守以下格式，否则模型将生成次优结果：

<bos><start_of_turn>user
编写一个hello world程序<end_of_turn>
<start_of_turn>model
这是一个简单的hellow world程序<end_of_turn><eos>

• 对话以**<bos>**标记开始
• 每轮对话前需添加**<start_of_turn>**分隔符，并标明实体角色（user或model）
• 每轮对话以**<end_of_turn>**标记结束
• 整个对话以**<eos>**标记终止

如需手动构建提示词，可参照此格式。以下是使用分词器聊天模板的简单示例：

from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "Hebrew-Gemma-11B-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="cuda")

chat = [
    { "role": "user", "content": "用Python写一个打印当天日期的简单代码" },
]
prompt = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)

使用条款

作为Gemma-7B的衍生模型，本模型受Google原始许可协议和使用条款约束。

基准测试结果

• 即将公布！

重要说明

希伯来语-Gemma-11B是预训练基础模型，未内置任何内容审核机制。

开发者信息

• 模型训练：Yam Peleg
• 合作机构：Jonathan Rouach与Arjeo公司