base_model: google/gemma-2-9b-it
datasets:

• DiTy/function-calling
  language:
• ru
  library_name: transformers
  license: apache-2.0
  pipeline_tag: text-generation
  tags:
• conversational
• gemma2
• function-calling
• trl

DiTy/gemma-2-9b-it-russian-function-calling-GGUF

该模型是基于google/gemma-2-9b-it针对函数调用任务进行微调的版本，训练数据完全由人工标注，使用了俄语版本的DiTy/function-calling数据集。

除了safetensors格式外，模型还提供GGUF格式（这种情况下只需下载单个文件，如何推理GGUF模型）：

模型卡片章节

• 如何为函数调用准备你的功能（tools）
• 直接使用聊天模板生成
• 提示结构和预期内容
• 函数调用模型评估

使用（HuggingFace Transformers）

以下是一些快速启动模型的代码片段。首先安装Transformers库：

pip install -U transformers  

如何为函数调用准备你的功能（tools）

你需要用Python代码编写模型使用的功能（工具），并务必添加Python文档字符串，如下例所示：

def get_weather(city: str):  
    """  
    返回指定城市的天气。  

    Args:  
        city: 需要查询天气的城市。  
    """  
    import random  

    return "晴天" if random.random() > 0.5 else "雨天"  

def get_sunrise_sunset_times(city: str):  
    """  
    返回指定城市当前日期的日出和日落时间（无需用户提供日期），格式为列表：[sunrise_time, sunset_time]。  

    Args:  
        city: 需要查询日出日落时间的城市。  
    """  

    return ["6:00", "18:00"]  

直接使用聊天模板生成

接下来加载模型和分词器：

import torch  
from transformers import AutoTokenizer, AutoModelForCausalLM  
model = AutoModelForCausalLM.from_pretrained(  
    "DiTy/gemma-2-9b-it-russian-function-calling-GGUF",  
    device_map="auto",  
    torch_dtype=torch.bfloat16,  # 如果不支持bfloat16，可以使用float16或float32。  
    cache_dir=PATH_TO_MODEL_DIR,  # 可选  
)  
tokenizer = AutoTokenizer.from_pretrained(  
    "DiTy/gemma-2-9b-it-russian-function-calling-GGUF",  
    cache_dir=PATH_TO_MODEL_DIR,  # 可选  
)  

要生成结果，只需使用apply_chat_template。为了包含我们编写的功能（工具），需要通过tools属性传递它们，并使用add_prompt_generation=True。

history_messages = [  
    {"role": "system", "content": "你是一个有用的助手，可以访问以下功能。必要时请使用它们——"},  
    {"role": "user", "content": "你好，能告诉我克拉斯诺达尔的日出时间吗？"}  
]  
inputs = tokenizer.apply_chat_template(  
    history_messages,  
    tokenize=False,  
    add_generation_prompt=True,  # 添加生成提示  
    tools=[get_weather, get_sunrise_sunset_times],  # 我们的功能（工具）  
)  
print(inputs)  

此时inputs将如下所示：

<bos><start_of_turn>user  
你是一个有用的助手，可以访问以下功能。必要时请使用它们—— {  
    "name": "get_weather",  
    "description": "返回指定城市的天气。",  
    "parameters": {  
        "type": "object",  
        "properties": {  
            "city": {  
                "type": "string",  
                "description": "需要查询天气的城市。"  
            }  
        },  
        "required": [  
            "city"  
        ]  
    }  
},  
{  
    "name": "get_sunrise_sunset_times",  
    "description": "返回指定城市当前日期的日出和日落时间（无需用户提供日期），格式为列表：[sunrise_time, sunset_time]。",  
    "parameters": {  
        "type": "object",  
        "properties": {  
            "city": {  
                "type": "string",  
                "description": "需要查询日出日落时间的城市。"  
            }  
        },  
        "required": [  
            "city"  
        ]  
    }  
}  

你好，能告诉我克拉斯诺达尔的日出时间吗？<end_of_turn>  
<start_of_turn>model  

现在可以生成模型的响应。注意，使用apply_chat_template后，在分词时无需添加特殊标记，因此使用add_special_tokens=False：

terminator_ids = [  
    tokenizer.eos_token_id,  
    tokenizer.convert_tokens_to_ids("<end_of_turn>"),  
]  
prompt_ids = tokenizer.encode(inputs, add_special_tokens=False, return_tensors='pt').to(model.device)  
generated_ids = model.generate(  
    prompt_ids,  
    max_new_tokens=512,  
    eos_token_id=terminator_ids,  
    bos_token_id=tokenizer.bos_token_id,  
)  
generated_response = tokenizer.decode(generated_ids[0][prompt_ids.shape[-1]:], skip_special_tokens=False)  # `skip_special_tokens=False`用于调试  
print(generated_response)  

生成的响应为函数调用：

调用函数: {"name": "get_sunrise_sunset_times", "arguments": {"city": "克拉斯诺达尔"}}<end_of_turn>  

接下来，我们可以通过调用函数获取和处理结果，然后将函数的响应提供给模型：

history_messages = [  
    {"role": "system", "content": "你是一个有用的助手，可以访问以下功能。必要时请使用它们——"},  
    {"role": "user", "content": "你好，能告诉我克拉斯诺达尔的日出时间吗？"},  
    {"role": "function-call", "content": '{"name": "get_sunrise_sunset_times", "arguments": {"city": "克拉斯诺达尔"}}'},  
    {"role": "function-response", "content": '{"times_list": ["6:00", "18:00"]}'},  # 假设的函数响应  
]  
inputs = tokenizer.apply_chat_template(  
    history_messages,  
    tokenize=False,  
    add_generation_prompt=True,  # 添加生成提示  
    tools=[get_weather, get_sunrise_sunset_times],  # 我们的功能（工具）  
)  
print(inputs)  

确认inputs正确：

<bos><start_of_turn>user  
你是一个有用的助手，可以访问以下功能。必要时请使用它们—— {  
    "name": "get_weather",  
    "description": "返回指定城市的天气。",  
    "parameters": {  
        "type": "object",  
        "properties": {  
            "city": {  
                "type": "string",  
                "description": "需要查询天气的城市。"  
            }  
        },  
        "required": [  
            "city"  
        ]  
    }  
},  
{  
    "name": "get_sunrise_sunset_times",  
    "description": "返回指定城市当前日期的日出和日落时间（无需用户提供日期），格式为列表：[sunrise_time, sunset_time]。",  
    "parameters": {  
        "type": "object",  
        "properties": {  
            "city": {  
                "type": "string",  
                "description": "需要查询日出日落时间的城市。"  
            }  
        },  
        "required": [  
            "city"  
        ]  
    }  
}  

你好，能告诉我克拉斯诺达尔的日出时间吗？<end_of_turn>  
<start_of_turn>model  
调用函数: {"name": "get_sunrise_sunset_times", "arguments": {"city": "克拉斯诺达尔"}}<end_of_turn>  
<start_of_turn>user  
函数响应: {"times_list": ["6:00", "18:00"]}<end_of_turn>  
<start_of_turn>model  

同样生成模型响应：

prompt_ids = tokenizer.encode(inputs, add_special_tokens=False, return_tensors='pt').to(model.device)  
generated_ids = model.generate(  
    prompt_ids,  
    max_new_tokens=512,  
    eos_token_id=terminator_ids,  
    bos_token_id=tokenizer.bos_token_id,  
)  
generated_response = tokenizer.decode(generated_ids[0][prompt_ids.shape[-1]:], skip_special_tokens=False)  
print(generated_response)  

模型最终响应：

在克拉斯诺达尔，太阳早上6:00升起，晚上18:00落下。<end_of_turn>  

通过transformers的pipeline使用

from transformers import pipeline  
generation_pipeline = pipeline(  
    "text-generation",  
    model="DiTy/gemma-2-9b-it-russian-function-calling-GGUF",  
    model_kwargs={  
        "torch_dtype": torch.bfloat16,  # 如果不支持bfloat16，可以使用float16或float32。  
        "cache_dir": PATH_TO_MODEL_DIR,  # 可选  
    },  
    device_map="auto",  
)  
history_messages = [  
    {"role": "system", "content": "你是一个有用的助手，可以访问以下功能。必要时请使用它们——"},  
    {"role": "user", "content": "你好，能告诉我克拉斯诺达尔的日出时间吗？"},  
    {"role": "function-call", "content": '{"name": "get_sunrise_sunset_times", "arguments": {"city": "克拉斯诺达尔"}}'},  
    {"role": "function-response", "content": '{"times_list": ["6:00", "18:00"]}'}  
]  
inputs = generation_pipeline.tokenizer.apply_chat_template(  
    history_messages,  
    tokenize=False,  
    add_generation_prompt=True,  
    tools=[get_weather, get_sunrise_sunset_times],  
)  
terminator_ids = [  
    generation_pipeline.tokenizer.eos_token_id,  
    generation_pipeline.tokenizer.convert_tokens_to_ids("<end_of_turn>")  
]  
outputs = generation_pipeline(  
    inputs,  
    max_new_tokens=512,  
    eos_token_id=terminator_ids,  
)  
print(outputs[0]["generated_text"][len(inputs):])  

提示结构和预期内容

为了确保模型正常工作，建议使用apply_chat_template。需要以特定格式传递历史消息。

history_messages = [  
    {"role": "...", "content": "..."},  
    ...  
]  

可用角色包括：

• system - 可选角色，其内容始终位于开头，并在列出模型可用功能（工具）之前。
  可以使用训练时使用的标准内容："你是一个有用的助手，可以访问以下功能。必要时请使用它们——"
• user - 用户请求通过此角色传递。
• function-call - 函数调用的主体通过此角色传递。
  尽管模型训练为生成***"调用函数: {...}<end_of_turn>"格式，但你只需在"content"字段中传递主体"{...}"***，
  因为使用apply_chat_template时，指令的后缀会自动添加。
• function-response - 通过此角色传递函数响应，"content"字段应为字典格式*'{"name_returnable_value": value}'***。
• model - 此角色的内容被视为模型生成的文本。

函数调用的聊天历史结构

[