许可证: MIT 流水线标签: 文本生成 标签:

• ONNX
• ONNXRuntime
• ONNXRuntimeWeb
• phi3
• transformers.js
• transformers
• NLP
• 对话式
• 自定义代码 推理: false

适用于浏览器内推理的Phi-3 Mini-4K-Instruct ONNX模型

完全在浏览器中运行Phi3-mini-4K！查看这个演示。

此仓库托管了ONNX Phi-3-mini-4k-instruct模型的优化Web版本，通过ONNX Runtime Web加速浏览器中的推理。

Phi-3-Mini-4K-Instruct是一个拥有38亿参数的轻量级、最先进的开源模型，使用Phi-3数据集训练，包含合成数据和经过筛选的公开网站数据，专注于高质量和推理密集的特性。在测试常识、语言理解、数学、代码、长上下文和逻辑推理的基准评估中，Phi-3 Mini-4K-Instruct在参数少于130亿的模型中展现了强大且最先进的性能。

如何运行

ONNX Runtime Web是一个JavaScript库，使开发者能够在浏览器中直接部署机器学习模型，提供多种利用硬件加速的后端。推荐使用WebGPU后端高效运行Phi-3-mini。

这里有一个端到端示例，展示了如何运行这个为Web优化的Phi3-mini-4K模型，使用ONNX Runtime结合WebGPU。

支持WebGPU的设备和浏览器: Chrome 113+和Edge 113+（Mac、Windows、ChromeOS），以及Chrome 121+（Android）。请访问此处跟踪浏览器对WebGPU的支持情况。

性能指标

性能因GPU而异。GPU越强大，速度越快。在NVIDIA GeForce RTX 4090上：约42个令牌/秒。

附加详情

如需获取针对服务器平台、Windows、Linux、Mac桌面和移动设备优化的其他Phi3-mini-4k ONNX模型，请访问Phi-3-mini-4k-instruct onnx模型。Web版本与其他版本的区别如下：

1. 模型为fp16，权重采用int4块量化
2. 'logits'输出为fp32
3. 模型使用MHA而非GQA
4. onnx和外部数据文件需保持在2GB以下，以便在Chromium中缓存

如需优化微调后的Phi3-mini-4k模型以在ONNX Runtime Web上运行，请遵循此Olive示例。Olive是一个易于使用的模型优化工具，用于生成优化的ONNX模型，以便在跨平台上高效运行ONNX Runtime。

模型描述

• 开发者: Microsoft
• 模型类型: ONNX
• 推理语言（NLP）: JavaScript
• 许可证: MIT
• 模型描述: 这是Phi-3 Mini-4K-Instruct模型的Web版本，用于ONNX Runtime推理。

模型卡联系人

guschmue, qining