🚀 函数调用微调版Llama 2 Chat

本模型针对函数调用进行了微调。

• 函数元数据格式与OpenAI所使用的格式相同。
• 该模型适用于商业用途，并遵循Llama 2社区许可证。
• GGUF版本位于gguf分支中。

查看其他微调的函数调用模型，请点击此处。

🚀 快速开始

✨ 快速服务器设置

• Runpod一键TGI模板：点击这里。
• Runpod一键vLLM模板：点击这里。

Runpod联盟链接（有助于支持Trelis频道）。

💻 推理脚本

以下是示例提示格式。

完整的推理脚本可点击此处购买：

• 使用tokenizer.apply_chat_format轻松格式化提示（从OpenAI格式的函数和消息列表开始）。
• 自动捕获、处理和链接函数调用。

💻 使用示例

基础用法

B_FUNC, E_FUNC = "You have access to the following functions. Use them if required:\n\n", "\n\n"
B_INST, E_INST = "[INST] ", " [/INST]" #Llama style
prompt = f"{B_INST}{B_FUNC}{functionList.strip()}{E_FUNC}{user_prompt.strip()}{E_INST}\n\n"

高级用法

使用tokenizer.apply_chat_template

为了更轻松地应用提示，您可以按以下方式设置：

设置messages：

[
    {
        "role": "function_metadata",
        "content": "FUNCTION_METADATA"
    },
    {
        "role": "user",
        "content": "What is the current weather in London?"
    },
    {
        "role": "function_call",
        "content": "{\n    \"name\": \"get_current_weather\",\n    \"arguments\": {\n        \"city\": \"London\"\n    }\n}"
    },
    {
        "role": "function_response",
        "content": "{\n    \"temperature\": \"15 C\",\n    \"condition\": \"Cloudy\"\n}"
    },
    {
        "role": "assistant",
        "content": "The current weather in London is Cloudy with a temperature of 15 Celsius"
    }
]

将FUNCTION_METADATA设置为：

[
    {
        "type": "function",
        "function": {
            "name": "get_current_weather",
            "description": "This function gets the current weather in a given city",
            "parameters": {
                "type": "object",
                "properties": {
                    "city": {
                        "type": "string",
                        "description": "The city, e.g., San Francisco"
                    },
                    "format": {
                        "type": "string",
                        "enum": ["celsius", "fahrenheit"],
                        "description": "The temperature unit to use."
                    }
                },
                "required": ["city"]
            }
        }
    },
    {
        "type": "function",
        "function": {
            "name": "get_clothes",
            "description": "This function provides a suggestion of clothes to wear based on the current weather",
            "parameters": {
                "type": "object",
                "properties": {
                    "temperature": {
                        "type": "string",
                        "description": "The temperature, e.g., 15 C or 59 F"
                    },
                    "condition": {
                        "type": "string",
                        "description": "The weather condition, e.g., 'Cloudy', 'Sunny', 'Rainy'"
                    }
                },
                "required": ["temperature", "condition"]
            }
        }
    }    
]

然后应用聊天模板以获取格式化的提示：

tokenizer = AutoTokenizer.from_pretrained('Trelis/Llama-2-7b-chat-hf-function-calling-v3', trust_remote_code=True)

prompt = tokenizer.apply_chat_template(prompt, tokenize=False)

如果您使用的是受限模型，则需要先运行：

pip install huggingface_hub
huggingface-cli login

手动提示

[INST] You have access to the following functions. Use them if required:

[
    {
        "type": "function",
        "function": {
            "name": "get_big_stocks",
            "description": "Get the names of the largest N stocks by market cap",
            "parameters": {
                "type": "object",
                "properties": {
                    "number": {
                        "type": "integer",
                        "description": "The number of largest stocks to get the names of, e.g. 25"
                    },
                    "region": {
                        "type": "string",
                        "description": "The region to consider, can be \"US\" or \"World\"."
                    }
                },
                "required": [
                    "number"
                ]
            }
        }
    },
    {
        "type": "function",
        "function": {
            "name": "get_stock_price",
            "description": "Get the stock price of an array of stocks",
            "parameters": {
                "type": "object",
                "properties": {
                    "names": {
                        "type": "array",
                        "items": {
                            "type": "string"
                        },
                        "description": "An array of stocks"
                    }
                },
                "required": [
                    "names"
                ]
            }
        }
    }
]

[INST] Get the names of the five largest stocks in the US by market cap [/INST]

{
    "name": "get_big_stocks",
    "arguments": {
        "number": 5,
        "region": "US"
    }
}</s>

📚 详细文档

数据集

查看数据集详情。

Llama 2模型详情

Llama 2是一系列预训练和微调的生成式文本模型，参数规模从70亿到700亿不等。这是7B微调模型的仓库，针对对话用例进行了优化，并转换为Hugging Face Transformers格式。其他模型的链接可在底部索引中找到。

模型信息

训练数据

• 概述：Llama 2在来自公开来源的2万亿个标记数据上进行了预训练。微调数据包括公开可用的指令数据集，以及超过100万个新的人工标注示例。预训练和微调数据集均不包含Meta用户数据。
• 数据时效性：预训练数据截止到2022年9月，但部分微调数据更新至2023年7月。

评估结果

预期用途

• 预期用例：Llama 2旨在用于英语的商业和研究用途。微调模型适用于类似助手的聊天，而预训练模型可用于各种自然语言生成任务。
• 超出范围的用途：以任何违反适用法律法规（包括贸易合规法律）的方式使用；使用英语以外的语言；以Llama 2的可接受使用政策和许可协议禁止的任何其他方式使用。

硬件和软件

• 训练因素：我们使用自定义训练库、Meta的研究超级集群和生产集群进行预训练。微调、标注和评估也在第三方云计算上进行。
• 碳足迹：预训练在A100 - 80GB类型的硬件上累计使用了330万个GPU小时的计算资源（TDP为350 - 400W）。估计总排放量为539 tCO2eq，其中100%由Meta的可持续发展计划抵消。

伦理考量和局限性

Llama 2是一项新技术，使用时存在风险。到目前为止进行的测试均使用英语，且无法涵盖所有场景。因此，与所有大语言模型一样，Llama 2的潜在输出无法提前预测，在某些情况下，模型可能会对用户提示产生不准确、有偏见或其他令人反感的响应。因此，在部署Llama 2的任何应用程序之前，开发人员应针对其特定应用对模型进行安全测试和调整。

请参阅负责任使用指南。

问题反馈

请通过以下方式报告模型的软件“漏洞”或其他问题：

• 报告模型问题：github.com/facebookresearch/llama
• 报告模型生成的不良内容：developers.facebook.com/llama_output_feedback
• 报告漏洞和安全问题：facebook.com/whitehat/info

Llama模型索引