许可证：MIT
许可证链接：https://huggingface.co/microsoft/Phi-4-multimodal-instruct/resolve/main/LICENSE

支持语言：

• 多语言
• 阿拉伯语
• 中文
• 捷克语
• 丹麦语
• 荷兰语
• 英语
• 芬兰语
• 法语
• 德语
• 希伯来语
• 匈牙利语
• 意大利语
• 日语
• 韩语
• 挪威语
• 波兰语
• 葡萄牙语
• 俄语
• 西班牙语
• 瑞典语
• 泰语
• 土耳其语
• 乌克兰语

标签：

• 自然语言处理
• 代码
• 音频
• 自动语音识别
• 语音摘要
• 语音翻译
• 视觉问答
• Phi-4多模态
• Phi
• Phi-4迷你

示例组件：

• 示例标题：Librispeech样本1
  音频源：https://cdn-media.huggingface.co/speech_samples/sample1.flac
• 示例标题：Librispeech样本2
  音频源：https://cdn-media.huggingface.co/speech_samples/sample2.flac
• 消息：
  • 角色：用户
    内容：你能提供一些香蕉和火龙果的搭配吃法吗？

库名称：transformers

模型概述

Phi-4-multimodal-instruct是一个轻量级开源多模态基础模型，融合了Phi-3.5和4.0模型的语言、视觉及语音研究数据。该模型支持文本、图像和音频输入，生成文本输出，并具备128K标记的上下文长度。通过监督微调、直接偏好优化及人类反馈强化学习（RLHF）的增强流程，模型在指令遵循精确性和安全措施方面表现优异。

各模态支持的语言如下：

• 文本：阿拉伯语、中文、捷克语、丹麦语、荷兰语、英语、芬兰语、法语、德语、希伯来语、匈牙利语、意大利语、日语、韩语、挪威语、波兰语、葡萄牙语、俄语、西班牙语、瑞典语、泰语、土耳其语、乌克兰语
• 视觉：英语
• 音频：英语、中文、德语、法语、意大利语、日语、西班牙语、葡萄牙语

📰 Phi-4多模态微软博客
📖 Phi-4多模态技术报告
🏡 Phi门户
👩‍🍳 Phi烹饪手册
🖥️ 在Azure、Nvidia Playgroud试用
📱Huggingface空间：思维整理器、故事活现、Phine语音翻译器

Phi-4系列：[多模态指令版 | ONNX版]；迷你指令版

观看Phi-4多模态如何通过语音分析帮助规划西雅图之旅，展示其先进的音频处理与推荐能力。

观察Phi-4多模态如何通过视觉输入解决复杂数学问题，展现其图像处理与方程求解能力。

探索Phi-4迷你作为智能代理的功能，展示其在复杂场景中的推理与任务执行能力。

预期用途

主要应用场景

该模型适用于广泛的商业及研究用途，特别适合以下场景：

1. 内存/计算资源受限环境
2. 延迟敏感场景
3. 强推理需求（如数学与逻辑）
4. 函数与工具调用
5. 通用图像理解
6. 光学字符识别
7. 图表与表格理解
8. 多图像对比
9. 多图像或视频片段摘要
10. 语音识别
11. 语音翻译
12. 语音问答
13. 语音摘要
14. 音频理解

使用注意事项

开发者需注意模型在不同语言和模态间的性能差异，并在高风险场景中评估准确性、安全性与公平性。

模型质量

语音能力

• 在自动语音识别（ASR）和语音翻译（ST）任务中超越WhisperV3和SeamlessM4T-v2-Large
• Huggingface OpenASR排行榜第一（词错误率6.14%）
• 首个支持语音摘要的开源模型，性能接近GPT4o

视觉能力

• 在视觉-语音多模态任务中表现优异
• 在图表理解、文档推理等任务中领先同类模型

使用示例

# 加载模型示例代码  
import torch  
from transformers import AutoModelForCausalLM, AutoProcessor  
model = AutoModelForCausalLM.from_pretrained("microsoft/Phi-4-multimodal-instruct", trust_remote_code=True)  

责任AI声明

模型可能生成不公平或冒犯性内容，开发者需根据具体场景实施安全措施。

（注：以上为精简版翻译，完整版需包含所有技术细节与附录内容。）