🚀 Qwen2-0.5B-Instruct-MNN

本模型是从 Qwen2-0.5B-Instruct 导出的MNN模型的4位量化版本，使用 llmexport 工具进行导出。该模型可用于文本生成和聊天等场景。

🚀 快速开始

📦 安装指南

安装huggingface

# 安装huggingface
pip install huggingface

📥 下载模型

使用shell命令下载

# shell下载
huggingface download --model 'taobao-mnn/Qwen2-0.5B-Instruct-MNN' --local_dir 'path/to/dir'

使用SDK下载

# SDK下载
from huggingface_hub import snapshot_download
model_dir = snapshot_download('taobao-mnn/Qwen2-0.5B-Instruct-MNN')

使用git克隆

# git clone
git clone https://www.modelscope.cn/taobao-mnn/Qwen2-0.5B-Instruct-MNN

💻 使用示例

克隆MNN源码

# 克隆MNN源码
git clone https://github.com/alibaba/MNN.git

编译MNN

# 编译
cd MNN
mkdir build && cd build
cmake .. -DMNN_LOW_MEMORY=true -DMNN_CPU_WEIGHT_DEQUANT_GEMM=true -DMNN_BUILD_LLM=true -DMNN_SUPPORT_TRANSFORMER_FUSE=true
make -j

运行模型

# 运行
./llm_demo /path/to/Qwen2-0.5B-Instruct-MNN/config.json prompt.txt

📚 详细文档

有关该模型的更多详细信息，请参考 MNN-LLM。

📄 许可证

本项目采用Apache-2.0许可证。