Gemma 2 9b

由 google 开发

Gemma是Google推出的轻量级前沿开放模型系列，基于与Gemini相同技术构建，适用于多种文本生成任务。

大型语言模型

Transformers

#轻量级大模型 #多任务文本生成 #TPU高效训练

下载量 45.11k

发布时间 : 6/24/2024

模型介绍

内容详情

替代品

模型简介

Gemma是仅解码器的文本到文本大语言模型，提供英语版本，适用于问答、摘要和推理等任务。其轻量级设计便于在资源有限环境中部署。

模型特点

轻量级设计

相对较小的体积使其能在笔记本电脑、台式机等资源有限环境中部署

多任务支持

适用于问答、摘要、推理等多种文本生成任务

高效训练

使用TPUv5p硬件和JAX/ML Pathways软件栈进行高效训练

安全过滤

训练数据经过CSAM和敏感信息的多重过滤确保安全性

模型能力

文本生成

问答系统

文本摘要

代码生成

数学推理

使用案例

内容创作

诗歌生成

根据用户提示生成创意诗歌

可生成32-256个token的连贯诗歌

教育辅助

知识问答

回答各类知识性问题

在MMLU基准测试中达到71.3分(9B模型)

编程辅助

代码生成

根据自然语言描述生成代码

HumanEval基准pass@1达40.2%(9B模型)

license: gemma
library_name: transformers
pipeline_tag: text-generation
extra_gated_heading: 访问Hugging Face上的Gemma
extra_gated_prompt: >-
要访问Hugging Face上的Gemma，您需要审阅并同意Google的使用许可。请确保已登录Hugging Face账号并点击下方按钮。请求将立即处理。
extra_gated_button_content: 确认许可

Gemma 2模型卡

模型页面: Gemma

资源与技术文档:

[负责任生成式AI工具包][rai-toolkit]
[Kaggle上的Gemma][kaggle-gemma]
[Vertex Model Garden中的Gemma][vertex-mg-gemma]

使用条款: 条款

作者: Google

模型信息

输入输出的简要说明与定义。

描述

Gemma是谷歌推出的一系列轻量级、前沿的开源模型，基于与创建Gemini模型相同的研究和技术构建。它们是仅解码器的文本到文本大语言模型，提供英语版本，并开放了预训练和指令调优变体的权重。Gemma模型适用于多种文本生成任务，包括问答、摘要和推理。其较小的体积使得它们能够在资源有限的环境中部署，如笔记本电脑、台式机或自有云基础设施，从而普及前沿AI模型的访问，助力大众创新。

使用方式

以下代码片段展示如何快速运行模型。首先安装Transformers库：

pip install -U transformers

使用`pipeline` API运行

import torch  
from transformers import pipeline  

pipe = pipeline(  
    "text-generation",  
    model="google/gemma-2-9b",  
    device="cuda",  # 替换为"mps"以在Mac设备上运行  
)  

text = "从前，"  
outputs = pipe(text, max_new_tokens=256)  
response = outputs[0]["generated_text"]  
print(response)

在单/多GPU上运行模型

# pip install accelerate  
from transformers import AutoTokenizer, AutoModelForCausalLM  
import torch  

tokenizer = AutoTokenizer.from_pretrained("google/gemma-2-9b")  
model = AutoModelForCausalLM.from_pretrained(  
    "google/gemma-2-9b",  
    device_map="auto",  
)  

input_text = "写一首关于机器学习的诗。"  
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")  

outputs = model.generate(**input_ids, max_new_tokens=32)  
print(tokenizer.decode(outputs[0]))

通过CLI运行模型

local-gemma仓库包含一个轻量级Transformers封装，支持通过命令行界面运行Gemma 2。按照安装说明操作后，执行以下命令启动CLI：

local-gemma --model "google/gemma-2-9b" --prompt "墨西哥的首都是哪里？"

通过`bitsandbytes`量化版本

使用8位精度(int8)

```python # pip install bitsandbytes accelerate from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig

quantization_config = BitsAndBytesConfig(load_in_8bit=True)

tokenizer = AutoTokenizer.from_pretrained("google/gemma-2-9b")
model = AutoModelForCausalLM.from_pretrained(
"google/gemma-2-9b",
quantization_config=quantization_config,
)

input_text = "写一首关于机器学习的诗。"
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")

outputs = model.generate(**input_ids, max_new_tokens=32)
print(tokenizer.decode(outputs[0]))

</details>  

<details>  
  <summary>使用4位精度</summary>  
```python  
# pip install bitsandbytes accelerate  
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig  

quantization_config = BitsAndBytesConfig(load_in_4bit=True)  

tokenizer = AutoTokenizer.from_pretrained("google/gemma-2-9b")  
model = AutoModelForCausalLM.from_pretrained(  
    "google/gemma-2-9b",  
    quantization_config=quantization_config,  
)  

input_text = "写一首关于机器学习的诗。"  
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")  

outputs = model.generate(**input_ids, max_new_tokens=32)  
print(tokenizer.decode(outputs[0]))

高级用法

Torch编译加速

通过[Torch编译](https://pytorch.org/tutorials/intermediate/torch_compile_tutorial.html)可提升推理速度。Gemma-2模型经编译后速度可提升6倍。需注意执行两次预热步骤： ```python import os os.environ["TOKENIZERS_PARALLELISM"] = "false"

from transformers import AutoTokenizer, Gemma2ForCausalLM
from transformers.cache_utils import HybridCache
import torch

torch.set_float32_matmul_precision("high")

加载模型+分词器

tokenizer = AutoTokenizer.from_pretrained("google/gemma-2-9b")
model = Gemma2ForCausalLM.from_pretrained("google/gemma-2-9b", torch_dtype=torch.bfloat16)
model.to("cuda")

应用编译

model.forward = torch.compile(model.forward, mode="reduce-overhead", fullgraph=True)

预处理输入

input_text = "狭义相对论指出 "
model_inputs = tokenizer(input_text, return_tensors="pt").to("cuda")
prompt_length = model_inputs.input_ids.shape[1]

设置k/v缓存

past_key_values = HybridCache(
config=model.config,
max_batch_size=1,
max_cache_len=model.config.max_position_embeddings,
device=model.device,
dtype=model.dtype
)

启用缓存传递

model._supports_cache_class = True
model.generation_config.cache_implementation = None

两次预热

for idx in range(2):
outputs = model.generate(**model_inputs, past_key_values=past_key_values, do_sample=True, temperature=1.0, max_new_tokens=128)
past_key_values.reset()

正式运行

outputs = model.generate(**model_inputs, past_key_values=past_key_values, do_sample=True, temperature=1.0, max_new_tokens=128)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

详情参阅[Transformers文档](https://huggingface.co/docs/transformers/main/en/llm_optims?static-kv=basic+usage%3A+generation_config)。  
</details>  

### 输入输出  
* **输入**: 文本字符串，如问题、提示或待总结文档  
* **输出**: 生成的英语文本响应，如问题答案或文档摘要  

### 引用  
```none  
@article{gemma_2024,  
    title={Gemma},  
    url={https://www.kaggle.com/m/3301},  
    DOI={10.34740/KAGGLE/M/3301},  
    publisher={Kaggle},  
    author={Gemma Team},  
    year={2024}  
}