license: apache-2.0

Granite-20B-FunctionCalling

模型概述

Granite-20B-FunctionCalling是基于IBM的granite-20b-code-instruct模型微调而成，旨在为Granite模型家族引入函数调用能力。该模型通过多任务训练方法，覆盖了函数调用中的七项核心任务：嵌套函数调用、函数链式调用、并行函数、函数名称检测、参数-值对检测、次优函数选择以及响应生成。

• 开发团队：IBM研究院
• 论文：《Granite函数调用模型：通过多任务学习实现细粒度任务的功能调用能力》
• 发布日期：2024年7月9日
• 许可证：Apache 2.0

使用指南

用途说明

本模型专为响应函数调用相关指令而设计。

生成示例

以下展示如何使用Granite-20B-Code-FunctionCalling模型的简单示例：

import json
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda"  # 或 "cpu"
model_path = "ibm-granite/granite-20b-functioncalling"
tokenizer = AutoTokenizer.from_pretrained(model_path)
# 若在CPU上运行，需移除device_map参数
model = AutoModelForCausalLM.from_pretrained(model_path, device_map=device)
model.eval()

# 定义用户查询及可用函数列表
query = "纽约当前天气如何？"
functions = [
    {
        "name": "get_current_weather",
        "description": "获取当前天气",
        "parameters": {
            "type": "object",
            "properties": {
                "location": {
                    "type": "string",
                    "description": "城市及州名，例如：San Francisco, CA"
                }
            },
            "required": ["location"]
        }
    },
    {
        "name": "get_stock_price",
        "description": "根据股票代码获取当前股价。代码需为纽约证券交易所或纳斯达克等主要美国交易所的上市公司有效符号。工具将返回以美元计的最新交易价格，适用于用户询问某支股票当前或最近价格时。不提供股票或公司的其他信息。",
        "parameters": {
            "type": "object",
            "properties": {
                "ticker": {
                    "type": "string",
                    "description": "股票代码，例如：AAPL代表苹果公司"
                }
            },
            "required": ["ticker"]
        }
    }
]

# 序列化函数并构建输入模板
payload = {
    "functions_str": [json.dumps(x) for x in functions],
    "query": query,
}

instruction = tokenizer.apply_chat_template(payload, tokenize=False, add_generation_prompt=True)

# 文本分词
input_tokens = tokenizer(instruction, return_tensors="pt").to(device)

# 生成输出标记
outputs = model.generate(**input_tokens, max_new_tokens=100)

# 将输出标记解码为文本
outputs = tokenizer.batch_decode(outputs)

# 遍历批次输出（本例批次大小为1）
for output in outputs:
    # 输出中的每个函数调用前会带有"<function_call>"标记，后接JSON格式的函数调用：
    # {"name": 函数名, "arguments": {参数名: 参数值}}
    # 本例输出示例：<function_call> {"name": "get_current_weather", "arguments": {"location": "New York"}}
    print(output)