功能型中量级模型 v2.2 说明卡

GitHub项目地址

功能型是一款能够解析和执行函数/插件调用的语言模型。

该模型可智能判断何时以并行或串行方式执行函数，并能理解函数输出结果。仅在需要时触发函数调用。函数定义采用类似OpenAI GPT函数调用的JSON Schema格式。

核心特性

• 支持智能并行工具调用
• 能够分析工具输出并给出基于输出结果的针对性响应
• 可自主判断何时不使用工具/函数，提供常规对话响应
• 当前最优秀的开源GPT-4替代方案之一

性能表现

在我们的内部测试数据集上，本模型在函数调用准确率方面达到业界领先水平。该指标综合评估函数名称预测和参数提取的整体正确率。

提示词模板

我们采用独创的"v2PromptTemplate"模板，将每轮对话分解为发送方、接收方和内容三部分。

函数定义会被转换为类TypeScript的语法格式，作为系统提示词注入。随后注入默认系统提示，最后加载对话消息。

我们的vLLM服务器已内置该格式化功能，可将函数自动转换为系统消息中的TypeScript定义，并应用预定义的Transformers聊天模板。通过服务器中的apply_chat_template()方法可自动格式化消息列表：

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="functionary")

client.chat.completions.create(
    model="path/to/functionary/model/",
    messages=[{"role": "user",
            "content": "伊斯坦布尔的天气如何？"}
    ],
    tools=[{
            "type": "function",
            "function": {
                "name": "get_current_weather",
                "description": "获取当前天气",
                "parameters": {
                    "type": "object",
                    "properties": {
                        "location": {
                            "type": "string",
                            "description": "城市和州名，例如：旧金山, CA"
                        }
                    },
                    "required": ["location"]
                }
            }
        }],
    tool_choice="auto"
)

将生成：

<|from|>system
<|recipient|>all
<|content|>// 需要时应调用的支持函数定义
namespace functions {
// 获取当前天气
type get_current_weather = (_: {
// 城市和州名，例如：旧金山, CA
location: string,
}) => any;
} // namespace functions
<|from|>system
<|recipient|>all
<|content|>用户与AI助手的对话。助手提供专业、详尽且礼貌的回答，必要时会调用带合适参数的函数
<|from|>user
<|recipient|>all
<|content|>伊斯坦布尔的天气如何？

完整示例参见此处。

运行模型

推荐使用我们开发的OpenAI兼容vLLM服务器运行本模型。

MeetKai 团队