许可证：apache-2.0
语言：

• 英文
  任务标签：文本生成
  标签：
• 聊天

Qwen3-30B-A3B-MNN

简介

本模型是基于Qwen3-30B-A3B导出的MNN模型，通过llmexport工具进行4位量化后的版本。

下载方式

# 安装huggingface  
pip install huggingface  

# 命令行下载  
huggingface download --model 'taobao-mnn/Qwen3-30B-A3B-MNN' --local_dir '本地存储路径'  

# SDK下载  
from huggingface_hub import snapshot_download  
model_dir = snapshot_download('taobao-mnn/Qwen3-30B-A3B-MNN')  

# git克隆  
git clone https://www.modelscope.cn/taobao-mnn/Qwen3-30B-A3B-MNN  

使用指南

# 克隆MNN源码  
git clone https://github.com/alibaba/MNN.git  

# 编译  
cd MNN  
mkdir build && cd build  
cmake .. -DMNN_LOW_MEMORY=true -DMNN_CPU_WEIGHT_DEQUANT_GEMM=true -DMNN_BUILD_LLM=true -DMNN_SUPPORT_TRANSFORMER_FUSE=true  
make -j  

# 运行  
./llm_demo /path/to/Qwen3-30B-A3B-MNN/config.json prompt.txt  

文档

MNN-LLM使用说明