许可证: mit
许可证链接: https://huggingface.co/microsoft/Phi-3-small-8k-instruct/resolve/main/LICENSE

支持语言:

• 多语言
  任务类型: 文本生成
  标签:
• 自然语言处理
• 代码
  推理参数:
  温度: 0.7
  示例输入:
  • 用户消息: "你能提供香蕉和火龙果的搭配吃法吗？"

🎉 Phi-3.5系列: [迷你指令版]; [混合专家指令版]; [视觉指令版]

模型概述

Phi-3-Small-8K-Instruct是一个70亿参数的轻量级尖端开源模型，使用包含合成数据和经过筛选的公开网站数据的Phi-3数据集训练，注重高质量和密集推理能力。该模型属于Phi-3系列，提供支持8K和128K上下文长度的两个版本。

模型经过监督微调和直接偏好优化的后训练过程，以确保指令遵循和安全性。在常识、语言理解、数学、代码、长上下文和逻辑推理等基准测试中，Phi-3-Small-8K-Instruct展现了同类及更大规模模型中最先进的性能。

资源与技术文档:

• Phi-3微软博客
• Phi-3技术报告
• Azure AI Studio上的Phi-3
• Phi-3使用手册

使用场景

主要用例
该模型适用于英语环境下的广泛商业和研究用途，特别适合以下场景：

1. 内存/计算资源受限的环境
2. 对延迟敏感的场景
3. 需要强推理能力的场景（如代码、数学和逻辑）

注意事项
开发者需注意模型可能存在的公平性、可靠性问题，并在高风险场景中实施额外保障措施。

使用方法

需安装特定版本的transformers库，并确保加载模型时传递trust_remote_code=True参数。模型也支持通过Azure AI使用。

对话格式

建议使用以下对话模板：

<|endoftext|><|user|>  
问题内容<|end|>  
<|assistant|>  

示例代码

展示如何快速在GPU上运行模型生成文本。

责任AI考量

开发者需注意模型可能存在的偏见、不当内容生成等问题，并在敏感场景中实施额外验证措施。

训练详情

• 架构: 70亿参数密集解码器架构
• 训练数据: 4.8万亿token的多源混合数据
• 训练硬件: 1024块H100-80G GPU
• 训练时长: 18天

基准测试

模型在多项基准测试中表现优异，具体数据参见技术报告中的对比表格。

软件与硬件支持

支持PyTorch、DeepSpeed等框架，需特定GPU型号运行优化版本。

跨平台支持

通过ONNX格式支持多平台部署，包括服务器、桌面端和移动设备。

许可

模型采用MIT许可证。

商标声明

使用微软商标需遵守相关指南，禁止未经授权的混淆性使用。