语言:

• 英语
• 法语
• 德语
• 西班牙语
• 意大利语
• 葡萄牙语
• 中文
• 日语
• 俄语
• 韩语 许可证: 其他 许可证名称: mrl 基础模型: mistralai/Pixtral-Large-Instruct-2411 推理: 不支持 许可证链接: https://mistral.ai/licenses/MRL-0.1.md 库名称: transformers 管道标签: 图像文本到文本

Pixtral-Large-Instruct-2411 🧡

Pixtral-Large-Instruct-2411的Transformers实现。

2024年12月21日: 这个模型在实验和学习过程中带来了很多乐趣。下方模型卡片更新了上周对本仓库所做的更改。

与Pixtral 12B的架构差异

Pixtral 12B为multi_modal_projector层提供了偏置键，而Pixtral Large则没有。本转换不包含这些偏置键，与Mistral原始上传的Pixtral Large保持一致。模型的config.json文件包含"multimodal_projector_bias": false以标记这一点。注：如果有社区成员确认初始化这些键为零值是更好的做法，我很乐意重新上传不排除它们的版本。

分词器

本模型使用了Mistral v7m1分词器的转换版本。Pixtral 12B和Large使用了不同词汇量的分词器，因此请确保使用正确的分词器。

提示/聊天模板

包含的chat_template.json支持Mistral定义的所有功能，并加入了我自己的一些补充。

我认为这个实现应该能为模型的使用提供很大的灵活性，在我的测试中表现良好。

示例 (为便于阅读添加了换行)

<s>[SYSTEM_PROMPT] <系统提示>[/SYSTEM_PROMPT]  
[INST] [IMG]<用户消息>  
[AVAILABLE_TOOLS] [<工具定义>][/AVAILABLE_TOOLS][/INST]  
[IMG]<助手回复>  
[TOOL_CALLS] [<工具调用>][/TOOL_CALLS]  
[TOOL_RESULTS] <工具结果包括图像>[/TOOL_RESULTS]  
</s>[INST] <用户消息>[/INST]

系统提示:
角色为"system"的消息将被解析为[SYSTEM_PROMPT] <内容>[/SYSTEM_PROMPT]，可以出现在聊天历史的任何位置。

这在传递不同深度的额外指令时效果良好，并能保持指令与对话的分离。

允许非交替角色:
可以连续提供多个用户消息，每个消息之间用[INST][/INST]分隔。这可能适用于群组对话环境，或在模型被调用前可以接收多条用户消息的场景。使用[/INST]分隔每条消息似乎有助于防止模型认为需要对之前的每条消息做出回应，而专注于最后一条消息，同时仍保留对之前消息的了解。

随处可用的图像输入:
现在可以在用户、助手和工具结果消息中发送图像。并且实际有效。我进行了测试，比如在对话历史10-15条消息前的助手回复中包含一张图像，要求助手回忆之前发送的图像，它能够准确描述。

这种灵活性可能支持有趣的应用，例如定义一个图像生成的工具：

• 调用工具并请求图像生成API/模型
• 图像返回到工具结果消息中
• 模型根据生成的图像上下文做出回复
• 可以进一步讨论生成的图像，或在模型了解已创建内容的基础上进行修改

使用

在transformers中加载时，可能需要添加一些处理以确保缺少mmproj偏置的情况下能正确处理视觉输入。

我的大部分测试使用了TabbyAPI和ExLlamaV2（开发分支），视觉输入正常工作。

量化

不同大小的EXL2量化版本可在此处获取。视觉输入需要使用ExLlamaV2的开发分支。