library_name: coreml
license: apache-2.0
tags:

• 文本生成

Mistral-7B-Instruct-v0.3 + CoreML

[!重要提示]
❗ 本仓库需使用macOS Sequoia（15）开发者测试版，以体验CoreML的最新强大功能！
请通过苹果测试版软件计划申请访问权限。
点击查看配套博客文章，了解iOS 18和macOS 15的新特性。

本仓库包含已转换为CoreML格式的Mistral 7B Instruct v0.3模型，提供FP16和Int4两种精度版本。

Mistral-7B-Instruct-v0.3是Mistral AI基于Mistral-7B-v0.3进行指令微调的版本。

相比v0.2版本，Mistral-7B-v0.3主要改进包括：

• 词汇表扩展至32768词
• 支持v3版本分词器
• 支持函数调用功能

建议查阅模型文档和原始说明卡以获取更多信息

下载指南

安装huggingface-cli工具：

pip install -U "huggingface_hub[cli]"  

下载指定.mlpackage文件夹至models目录：

huggingface-cli download \  
  --local-dir models \  
  --local-dir-use-symlinks False \  
  apple/mistral-coreml \  
  --include "StatefulMistral7BInstructInt4.mlpackage/*"  

如需下载全部内容，请移除--include参数。

Swift应用集成

参考huggingface/swift-chat仓库中的演示应用快速入门！
通过huggingface/swift-transformers的preview分支可直接将模型集成至Swift应用

使用限制

Mistral 7B Instruct模型仅作为基础模型经微调后性能表现的快速演示，未内置任何内容过滤机制。我们期待与社区共同探索如何为模型添加精细的防护机制，使其能够应用于需要内容审核的场景。