AIbase

P

Phi 4 Multimodal Instruct

由 Robeeeeeeeeeee 开发
Phi-4-multimodal-instruct是一款轻量级开源多模态基础模型，融合了Phi-3.5和4.0模型的语言、视觉及语音研究与数据集。支持文本、图像和音频输入，生成文本输出，并具备128K标记的上下文长度。
多模态融合
Transformers
支持多种语言
开源协议:MIT#多模态指令理解#128K长上下文#语音视觉文本三模态
下载量 21
发布时间 : 2/28/2025
模型介绍
内容详情
替代品

模型简介

该模型通过监督微调、直接偏好优化及人类反馈强化学习（RLHF）的增强流程，在指令遵循精确性和安全措施方面表现优异。适用于广泛的商业与研究用途，支持多语言和多模态任务。

模型特点

多模态支持
同时支持文本、图像和音频输入，生成文本输出，实现跨模态理解和交互。
长上下文处理
具备128K标记的上下文长度，能够处理长文档和复杂对话。
多语言能力
支持23种语言的文本处理，8种语言的音频处理，具备强大的跨语言能力。
轻量级设计
优化后的架构适合内存/计算受限环境和低延迟场景。
强化学习优化
通过监督微调、直接偏好优化及人类反馈强化学习（RLHF）增强模型性能。

模型能力

文本生成
图像理解
语音识别
语音翻译
语音摘要
视觉问答
光学字符识别
图表与表格理解
多图像对比
视频片段摘要
音频理解
函数与工具调用
数学与逻辑推理

使用案例

语音处理
语音识别
将语音转换为文本，支持多种语言。
词错误率低至6.14%，在Huggingface OpenASR排行榜位列第一。
语音翻译
实时将一种语言的语音翻译为另一种语言的文本。
性能超越WhisperV3和SeamlessM4T-v2-Large。
语音摘要
从语音内容中提取关键信息生成摘要。
性能接近GPT4o。
视觉理解
视觉问答
根据图像内容回答相关问题。
在AI2D基准测试中得分68.9，接近Gemini-2.0-Flash。
数学问题求解
通过视觉输入解决复杂数学问题。
展示强大的图像处理与方程求解能力。
智能助手
旅行规划
通过语音分析帮助规划旅行路线。
展示高级音频处理与推荐能力。
内容创作
根据多模态输入生成故事或内容。
在故事活现演示中展示创意生成能力。