许可证：MIT
许可证链接：https://huggingface.co/microsoft/Phi-4-multimodal-instruct/resolve/main/LICENSE
支持语言：

• 多语言
• 阿拉伯语（ar）
• 中文（zh）
• 捷克语（cs）
• 丹麦语（da）
• 荷兰语（nl）
• 英语（en）
• 芬兰语（fi）
• 法语（fr）
• 德语（de）
• 希伯来语（he）
• 匈牙利语（hu）
• 意大利语（it）
• 日语（ja）
• 韩语（ko）
• 挪威语（no）
• 波兰语（pl）
• 葡萄牙语（pt）
• 俄语（ru）
• 西班牙语（es）
• 瑞典语（sv）
• 泰语（th）
• 土耳其语（tr）
• 乌克兰语（uk）

标签：

• 自然语言处理（nlp）
• 代码（code）
• 音频（audio）
• 自动语音识别（automatic-speech-recognition）
• 语音摘要（speech-summarization）
• 语音翻译（speech-translation）
• 视觉问答（visual-question-answering）
• Phi-4多模态（phi-4-multimodal）
• Phi系列（phi）
• Phi-4迷你版（phi-4-mini）

示例组件：

• 示例标题：Librispeech样本1
  音频源：https://cdn-media.huggingface.co/speech_samples/sample1.flac
• 示例标题：Librispeech样本2
  音频源：https://cdn-media.huggingface.co/speech_samples/sample2.flac
• 消息示例：
  • 角色：用户
    内容：将音频转录为文本，然后翻译为法语。使用作为原始转录和翻译之间的分隔符。

库名称：transformers
论文链接：https://arxiv.org/abs/2503.01743

🎉Phi-4系列：
[迷你推理版 | 推理版] |
[多模态指令版 | ONNX版]；
[迷你指令版 | ONNX版]

模型概述

Phi-4-multimodal-instruct是一个轻量级的开源多模态基础模型，融合了Phi-3.5和4.0模型的语言、视觉和语音研究及数据集。该模型支持文本、图像和音频输入，生成文本输出，并具备128K token的上下文长度。通过监督微调、直接偏好优化和基于人类反馈的强化学习（RLHF）的增强流程，模型在指令遵循精确性和安全措施方面表现优异。

各模态支持的语言如下：

• 文本：阿拉伯语、中文、捷克语、丹麦语、荷兰语、英语、芬兰语、法语、德语、希伯来语、匈牙利语、意大利语、日语、韩语、挪威语、波兰语、葡萄牙语、俄语、西班牙语、瑞典语、泰语、土耳其语、乌克兰语
• 视觉：英语
• 音频：英语、中文、德语、法语、意大利语、日语、西班牙语、葡萄牙语

📰 Phi-4多模态微软博客
📖 Phi-4多模态技术报告
🏡 Phi门户
👩‍🍳 Phi教程库
🖥️ 试用平台：Azure、GitHub、Nvidia、Huggingface
📱 Huggingface Spaces：思维整理器、故事活化器、语音翻译器

观看Phi-4多模态如何通过语音分析帮助规划西雅图之旅，展示其先进的音频处理和推荐能力。

了解Phi-4多模态如何通过视觉输入解决复杂数学问题，展示其处理和解算图像中方程的能力。

探索Phi-4迷你版如何作为智能代理，在复杂场景中展示其推理和任务执行能力。

预期用途

主要用例

该模型适用于广泛的商业和研究用途，支持多语言和多模态场景。其设计目标包括：

1. 内存/计算受限环境
2. 延迟敏感场景
3. 强大的推理能力（尤其是数学和逻辑）
4. 功能和工具调用
5. 通用图像理解
6. 光学字符识别
7. 图表和表格理解
8. 多图像对比
9. 多图像或视频片段摘要
10. 语音识别
11. 语音翻译
12. 语音问答
13. 语音摘要
14. 音频理解

该模型旨在加速语言和多模态模型的研究，作为生成式AI功能的构建模块。

使用注意事项

该模型并非为所有下游用途专门设计或评估。开发者在选择用例时需考虑语言模型的常见限制，并在高风险场景中评估和缓解准确性、安全性和公平性问题。开发者应遵守适用于其用例的法律法规（包括隐私、贸易合规等）。

本模型卡片中的内容不应被解释为对模型发布许可证的限制或修改。

发布说明

此版本的Phi-4-multimodal-instruct基于Phi-3系列用户的宝贵反馈。此前，用户需通过两个模型的流水线实现语音识别功能：一个模型转录音频为文本，另一个模型处理语言或视觉任务。这种流水线导致核心模型无法直接观察完整输入信息（如多说话者、背景噪音等）。

Phi-4-multimodal-instruct通过单一神经网络处理所有输入和输出，采用新架构、更大的词汇表、多语言和多模态支持，以及更优的训练后技术，显著提升了多模态能力。预计该模型将极大惠及应用开发者和多样化用例。感谢对Phi-4系列的热情支持，欢迎反馈以推动模型持续改进！

模型质量