许可证: MIT
语言:

• 多语言
  标签:
• 自然语言处理
• 代码
• 音频
• 自动语音识别
• 语音摘要
• 语音翻译
• 视觉问答
• phi-4多模态
• phi
• phi-4迷你版

Phi-4多模态指令ONNX模型

简介

这是Phi-4多模态模型的ONNX版本，已量化为int4精度，以通过ONNX Runtime加速推理。

模型运行

CPU版本：敬请期待，或按照本教程为CPU生成自己的ONNX模型！

CUDA版本：

# 使用Hugging Face CLI直接下载模型  
huggingface-cli download microsoft/Phi-4-multimodal-instruct-onnx --include gpu/* --local-dir .  

# 安装ONNX Runtime GenAI的CUDA包  
pip install --pre onnxruntime-genai-cuda  

# 请根据实际情况调整模型目录(-m)  
curl https://raw.githubusercontent.com/microsoft/onnxruntime-genai/main/examples/python/phi4-mm.py -o phi4-mm.py  
python phi4-mm.py -m gpu/gpu-int4-rtn-block-32 -e cuda  

DirectML版本：

# 使用Hugging Face CLI直接下载模型  
huggingface-cli download microsoft/Phi-4-multimodal-instruct-onnx --include gpu/* --local-dir .  

# 安装ONNX Runtime GenAI的DML包  
pip install --pre onnxruntime-genai-directml  

# 请根据实际情况调整模型目录(-m)  
curl https://raw.githubusercontent.com/microsoft/onnxruntime-genai/main/examples/python/phi4-mm.py -o phi4-mm.py  
python phi4-mm.py -m gpu/gpu-int4-rtn-block-32 -e dml  

运行后将提示您提供图像、音频和提示文本。

文本组件的性能与Phi-4迷你版ONNX模型相近。

模型描述

• 开发方: 微软
• 模型类型: ONNX
• 许可证: MIT
• 模型说明: 这是为ONNX Runtime推理转换的Phi4多模态模型。

免责声明：该模型仅为基模型的优化版本，任何与模型相关的风险均由模型使用者承担。请根据您的场景进行验证和测试。由于应用了优化措施，输出可能与基模型存在轻微差异。

基模型

Phi-4-multimodal-instruct是一个轻量级开源多模态基础模型，利用了Phi-3.5和4.0模型的语言、视觉和语音研究及数据集。该模型可处理文本、图像和音频输入，生成文本输出，并支持128K token的上下文长度。模型通过监督微调和直接偏好优化的增强过程，实现了精确的指令遵循和安全措施。

详情参见此处