语言:

• 英文 许可证: Apache-2.0 标签:
• 密斯特拉
• 指令微调
• 对话式
• ChatML
• GPT4
• 合成数据
• 知识蒸馏
• 多模态
• LLaVA 基础模型: mistralai/Mistral-7B-v0.1 任务类型: 图文生成 模型索引:
• 名称: Nous-Hermes-2-Vision 成果: []

GGUF量化版本由Twobob提供，感谢@jartine和@cmp-nct的协助

参考vicuna实现：此处

注意事项：推理过程中仍存在某些可能在上游修复的bug，特此告知

Nous-Hermes-2-Vision - Mistral 7B版

在希腊神话的织锦中，赫尔墨斯作为众神的雄辩信使，以沟通艺术巧妙连接不同领域。为致敬这位神圣中介，我将此先进大语言模型命名为"赫尔墨斯"，一个为驾驭人类话语复杂精妙而打造的系统。

模型描述

Nous-Hermes-2-Vision是开创性的视觉语言模型，基于teknium开发的OpenHermes-2.5-Mistral-7B进行升级，具有两项突破性改进：

• SigLIP-400M融合：摒弃传统3B视觉编码器，采用高效的SigLIP-400M架构，在保持轻量化的同时，凭借SigLIP的卓越能力实现了超常规性能突破。

• 函数调用增强数据集：通过独创的函数调用训练数据，模型进化为视觉语言行动模型，为开发者提供了打造智能自动化系统的强大工具。

项目由stablequan和teknium主导开发。

训练数据

• 22万条来自LVIS-INSTRUCT4V
• 6万条来自ShareGPT4V
• 15万条私有函数调用数据
• 5万条对话来自teknium的OpenHermes-2.5

使用指南

提示格式

• 与其他LLaVA变体相同，采用Vicuna-V1对话模板，详见此文件中的conv_llava_v1
• Gradio界面请访问GitHub仓库

函数调用

• 函数调用需以<fn_call>标签开头，示例如下：

<fn_call>{
  "类型": "对象",
  "属性": {
    "公交车颜色": {
      "类型": "数组",
      "描述": "图中公交车的颜色",
      "元素": {
        "类型": "字符串",
        "枚举值": ["红","蓝","绿","白"]
      }
    },
    "公交车特征": {
      "类型": "字符串",
      "描述": "公交车尾部可见特征"
    },
    "位置状态": {
      "类型": "字符串",
      "描述": "公交车所处位置状态",
      "枚举值": ["行驶中","靠边停靠"]
    }
  }
}

输出示例：

{
  "公交车颜色": ["红","白"],
  "公交车特征": "广告牌",
  "位置状态": "行驶中"
}

案例演示

对话功能

函数调用

输入图片：

输入指令：

<fn_call>{
    "类型": "对象",
    "属性": {
      "食品列表": {
        "类型": "数组",
        "描述": "所有食品清单",
        "元素": {
          "类型": "字符串"
        }
      }
    }
}

输出结果：

{
    "食品列表": [
        "双层汉堡",
        "芝士汉堡",
        "薯条",
        "奶昔",
        "咖啡"
    ]
}