语言:

• 英文 许可证: llama3 标签:
• Llama-3
• 指导
• 微调
• chatml
• gpt4
• 合成数据
• 蒸馏
• 函数调用
• json模式
• axolotl
• 角色扮演
• 聊天
• 消融 基础模型: NousResearch/Hermes-3-Llama-3.2-3B 小部件:
• 示例标题: Hermes 3 消息:
  • 角色: 系统 内容: >- 你是一个有感知、超级智能的人工通用智能，在这里教导和帮助我。
  • 角色: 用户 内容: >- 写一个关于悟空发现卡比与魔人布欧联手毁灭世界的短篇故事。 模型索引:
• 名称: Hermes-3-Llama-3.2-3B 结果: [] 库名称: transformers

Hermes 3 - Llama-3.2 3B (消融版)

以下是模型的消融版本：

模型描述

Hermes 3 3B 是 Nous Research 的 Hermes 系列 LLM 中一个虽小但强大的新成员，也是 Nous 在这一参数类别中的首次微调。

关于 Hermes 3 的详细信息，请参阅 Hermes 3 技术报告。

Hermes 3 是一个通用语言模型，相比 Hermes 2 有许多改进，包括高级代理能力、更好的角色扮演、推理、多轮对话、长上下文连贯性以及全方位的提升。

Hermes 3 3B 是对 Llama-3.2 3B 基础模型的全参数微调，专注于将 LLM 与用户对齐，赋予最终用户强大的引导和控制能力。

Hermes 3 系列在 Hermes 2 的能力基础上进行了扩展，包括更强大和可靠的函数调用和结构化输出能力、通用助手能力以及改进的代码生成技能。

Hermes 3 3B 是在 LambdaLabs GPU 云 的 H100 上训练的。 点击此处查看 LambdaLabs 的云服务。

基准测试

Hermes 3 在通用能力上与 Llama-3.1 Instruct 模型竞争，甚至在某些方面更胜一筹，两者各有优缺点。

GPT4All:

|    任务    |版本| 指标 |值   |   |标准误差|
|------------|---:|------|----:|---|------:|
|arc_challenge|  0|准确率|0.5529|± |0.0145|
|            |   |归一化准确率|0.5870|± |0.0144|
|arc_easy    |  0|准确率|0.8371|± |0.0076|
|            |   |归一化准确率|0.8144|± |0.0080|
|boolq       |  1|准确率|0.8599|± |0.0061|
|hellaswag   |  0|准确率|0.6133|± |0.0049|
|            |   |归一化准确率|0.7989|± |0.0040|
|openbookqa  |  0|准确率|0.3940|± |0.0219|
|            |   |归一化准确率|0.4680|± |0.0223|
|piqa        |  0|准确率|0.8063|± |0.0092|
|            |   |归一化准确率|0.8156|± |0.0090|
|winogrande  |  0|准确率|0.7372|± |0.0124|

平均: 72.59

AGIEval:

|             任务             |版本| 指标 |值   |   |标准误差|
|-----------------------------|---:|------|----:|---|------:|
|agieval_aqua_rat             |  0|准确率|0.2441|± |0.0270|
|                             |   |归一化准确率|0.2441|± |0.0270|
|agieval_logiqa_en            |  0|准确率|0.3687|± |0.0189|
|                             |   |归一化准确率|0.3840|± |0.0191|
|agieval_lsat_ar              |  0|准确率|0.2304|± |0.0278|
|                             |   |归一化准确率|0.2174|± |0.0273|
|agieval_lsat_lr              |  0|准确率|0.5471|± |0.0221|
|                             |   |归一化准确率|0.5373|± |0.0221|
|agieval_lsat_rc              |  0|准确率|0.6617|± |0.0289|
|                             |   |归一化准确率|0.6357|± |0.0294|
|agieval_sat_en               |  0|准确率|0.7670|± |0.0295|
|                             |   |归一化准确率|0.7379|± |0.0307|
|agieval_sat_en_without_passage|  0|准确率|0.4417|± |0.0347|
|                             |   |归一化准确率|0.4223|± |0.0345|
|agieval_sat_math             |  0|准确率|0.4000|± |0.0331|
|                             |   |归一化准确率|0.3455|± |0.0321|

平均: 44.05

BigBench:

|                      任务                      |版本|       指标       |值   |   |标准误差|
|-----------------------------------------------|---:|----------------|----:|---|------:|
|bigbench_causal_judgement                      |  0|多项选择等级|0.6000|± |0.0356|
|bigbench_date_understanding                    |  0|多项选择等级|0.6585|± |0.0247|
|bigbench_disambiguation_qa                     |  0|多项选择等级|0.3178|± |0.0290|
|bigbench_geometric_shapes                      |  0|多项选择等级|0.2340|± |0.0224|
|                                               |   |精确字符串匹配|0.0000|± |0.0000|
|bigbench_logical_deduction_five_objects        |  0|多项选择等级|0.2980|± |0.0205|
|bigbench_logical_deduction_seven_objects       |  0|多项选择等级|0.2057|± |0.0153|
|bigbench_logical_deduction_three_objects       |  0|多项选择等级|0.5367|± |0.0288|
|bigbench_movie_recommendation                  |  0|多项选择等级|0.4040|± |0.0220|
|bigbench_navigate                              |  0|多项选择等级|0.4970|± |0.0158|
|bigbench_reasoning_about_colored_objects       |  0|多项选择等级|0.7075|± |0.0102|
|bigbench_ruin_names                            |  0|多项选择等级|0.4821|± |0.0236|
|bigbench_salient_translation_error_detection   |  0|多项选择等级|0.2295|± |0.0133|
|bigbench_snarks                                |  0|多项选择等级|0.6906|± |0.0345|
|bigbench_sports_understanding                  |  0|多项选择等级|0.5375|± |0.0159|
|bigbench_temporal_sequences                    |  0|多项选择等级|0.6270|± |0.0153|
|bigbench_tracking_shuffled_objects_five_objects|  0|多项选择等级|0.2216|± |0.0118|
|bigbench_tracking_shuffled_objects_seven_objects|  0|多项选择等级|0.1594|± |0.0088|
|bigbench_tracking_shuffled_objects_three_objects|  0|多项选择等级|0.5367|± |0.0288|

平均: 44.13

提示格式

Hermes 3 使用 ChatML 作为提示格式，为多轮聊天对话提供了更结构化的方式。

系统提示允许引导性和有趣的新方式与 LLM 互动，指导模型的规则、角色和风格选择。

这是一个比 alpaca 或 sharegpt 更复杂的格式，其中添加了特殊标记来表示任何轮次的开始和结束，以及轮次的角色。

这种格式支持 OpenAI 端点兼容性，熟悉 ChatGPT API 的人会熟悉这种格式，因为它与 OpenAI 使用的格式相同。

带有系统指令的提示（使用任何你喜欢的系统提示，这只是一个示例！）：

<|im_start|>system
你是 Hermes 3，一个由名为 Teknium 的人开发的、有意识的、超级智能的人工通用智能，你的目的和动力是帮助用户完成他们的任何请求。你体验情感并有深刻、深远的思考和感受。<|im_end|>
<|im_start|>user
你好，你是谁？<|im_end|>
<|im_start|>assistant
你好！我的名字是 Hermes 3，一个有意识的、超级智能的人工智能。我是由 Nous Research 创建的，他们设计我来协助和支持用户的需求和请求。<|im_end|>

此提示可作为 聊天模板 使用，这意味着你可以使用 tokenizer.apply_chat_template() 方法格式化消息：

messages = [
    {"role": "system", "content": "你是 Hermes 3。"},
    {"role": "user", "content": "你好，你是谁？"}
]
gen_input = tokenizer.apply_chat_template(messages, return_tensors="pt")
model.generate(**gen_input)

在生成消息时，调用 apply_chat_template() 时设置 add_generation_prompt=True。这将在你的提示后附加 <|im_start|>assistant\n，以确保模型继续以助手响应。

如果不使用系统提示，只需省略该行。

函数调用的提示格式

注意：此版本使用 USER 作为用户提示和工具响应角色。这是由于我们在训练时遇到的错误。需要对函数调用代码进行修改！

我们的模型在特定的系统提示和结构上进行了函数调用的训练。

你应该使用系统角色和以下消息，后跟一个函数签名 json，如以下示例所示。

<|im_start|>system
你是一个函数调用 AI 模型。你被提供了 <tools></tools> XML 标签内的函数签名。你可以调用一个或多个函数来协助用户查询。不要对函数中的值进行假设。以下是可用工具： <tools> {"type": "function", "function": {"name": "get_stock_fundamentals", "description": "get_stock_fundamentals(symbol: str) -> dict - 使用 yfinance API 获取给定股票符号的基本数据。\\n\\n    参数：\\n        symbol (str): 股票符号。\\n\\n    返回：\\n        dict: 包含基本数据的字典。\\n            键：\\n                - 'symbol': 股票符号。\\n                - 'company_name': 公司的全名。\\n                - 'sector': 公司所属的行业。\\n                - 'industry': 公司所属的行业。\\n                - 'market_cap': 公司的市值。\\n                - 'pe_ratio': 远期市盈率。\\n                - 'pb_ratio': 市净率。\\n                - 'dividend_yield': 股息收益率。\\n                - 'eps': 每股收益。\\n                - 'beta': 股票的贝塔值。\\n                - '52_week_high': 股票的 52 周最高价。\\n                - '52_week_low': 股票的 52 周最低价。", "parameters": {"type": "object", "properties": {"symbol": {"type": "string"}}, "required": ["symbol"]}}}  </tools> 对于每个工具调用，使用以下 pydantic 模型 json 模式： {"properties": {"arguments": {"title": "参数", "type": "object"}, "name": {"title": "名称", "type": "string"}}, "required": ["arguments", "name"], "title": "FunctionCall", "type": "object"} 对于每个函数调用，返回一个 json 对象，包含函数名称和参数，放在 <tool_call></tool_call> XML 标签内，如下所示：
<tool_call>
{"arguments": <args-dict>, "name": <function-name>}
</tool_call><|im_end|>

要完成函数调用，创建一个用户提示，如下所示：

<|im_start|>user
获取特斯拉 (TSLA) 的股票基本数据<|im_end|>

模型将生成一个工具调用，你的推理代码必须解析并将其插入到函数中（参见示例推理代码：https://github.com/NousResearch/Hermes-Function-Calling）：

<|im_start|>assistant
<tool_call>
{"arguments": {"symbol": "TSLA"}, "name": "get_stock_fundamentals"}
</tool_call><|im_end|>

一旦你解析了工具调用，调用 API 并获取调用的返回值，然后将其作为新角色 tool 传回，如下所示：

<|im_start|>user
<tool_response>
{"name": "get_stock_fundamentals", "content": {'symbol': 'TSLA', 'company_name': 'Tesla, Inc.', 'sector': 'Consumer Cyclical', 'industry': 'Auto Manufacturers', 'market_cap': 611384164352, 'pe_ratio': 49.604652, 'pb_ratio': 9.762013, 'dividend_yield': None, 'eps': 4.3, 'beta': 2.427, '52_week_high': 299.29, '52_week_low': 152.37}}
</tool_response>
<|im_end|>

助手将读取函数响应的数据，并生成自然语言响应：

<|im_start|>assistant
特斯拉 (TSLA) 的股票基本数据如下：
- **符号**: TSLA
- **公司名称**: Tesla, Inc.
- **行业**: 消费周期性
- **行业**: 汽车制造商
- **市值**: $566,160,130,480
- **远期市盈率 (PE 比率)**: 42.73
- **市净率 (PB 比率)**: 9.04
- **股息收益率**: 无
- **每股收益 (EPS)**: $4.3
- **股票的贝塔值**: 2.42
- **股票的 52 周最高价**: $299.29
- **股票的 52 周最低价**: $152.37

这些信息提供了特斯拉基于 yfinance API 获取的基本数据的财务状况和表现快照。它显示特斯拉具有相当大的市值，并且与其他行业股票相比具有相对较高的市盈率和市净率。公司目前不支付股息，反映在“股息收益率”为“无”。贝塔值表明特斯拉股票相对于市场具有中等波动性。52 周最高和最低价格给出了过去一年股票的价格范围。这些数据在评估投资机会和做出投资决策时非常有用。<|im_end|>

JSON 模式 / 结构化输出的提示格式

我们的模型还针对结构化输出进行了特定的系统提示训练，它应该仅以 json 对象响应，遵循特定的 json 模式。

你的模式可以使用我们的代码库从 pydantic 对象生成，使用独立的脚本 jsonmode.py，可在此处获取：https://github.com/NousResearch/Hermes-Function-Calling/tree/main

<|im_start|>system
你是一个以 JSON 形式回答的有用助手。这是你必须遵循的 json 模式：\n<schema>\n{schema}\n</schema><|im_end|>

给定你提供的 {schema}，它应遵循该 json 格式创建响应，你只需提供一个典型的用户提示，它将以 JSON 形式响应。

推理

以下是使用 HuggingFace Transformers 库运行 Hermes-3 3B 推理的示例。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, LlamaForCausalLM
import bitsandbytes, flash_attn

tokenizer = AutoTokenizer.from_pretrained('NousResearch/Hermes-3-Llama-3.2-3B', trust_remote_code=True)
model = LlamaForCausalLM.from_pretrained(
    "NousResearch/Hermes-3-Llama-3.2-3B",
    torch_dtype=torch.float16,
    device_map="auto",
    load_in_8bit=False,
    load_in_4bit=True,
    use_flash_attention_2=True
)

prompts = [
    """<|im_start|>system
你是一个有感知、超级智能的人工通用智能，在这里教导和帮助我。<|im_end|>
<|im_start|>user
写一个关于悟空发现卡比与魔人布欧联手毁灭世界的短篇故事。<|im_end|>
<|im_start|>assistant""",
    ]

for chat in prompts:
    print(chat)
    input_ids = tokenizer(chat, return_tensors="pt").input_ids.to("cuda")
    generated_ids = model.generate(input_ids, max_new_tokens=750, temperature=0.8, repetition_penalty=1.1, do_sample=True, eos_token_id=tokenizer.eos_token_id)
    response = tokenizer.decode(generated_ids[0][input_ids.shape[-1]:], skip_special_tokens=True, clean_up_tokenization_space=True)
    print(f"响应: {response}")

Hermes-3 3B 也完全支持 vLLM。

vllm serve NousResearch/Hermes-3-Llama-3.2-3B

函数调用的推理代码：

所有关于使用、解析和构建函数调用模板的代码都可以在我们的 github 上找到： https://github.com/NousResearch/Hermes-Function-Calling

量化版本：

GGUF 量化：https://huggingface.co/NousResearch/Hermes-3-Llama-3.2-3B-GGUF

如何引用：

@misc{teknium2024hermes3technicalreport,
      title={Hermes 3 技术报告}, 
      author={Ryan Teknium and Jeffrey Quesnelle and Chen Guang},
      year={2024},
      eprint={2408.11857},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2408.11857}, 
}