AIbase

Q

Qwq 32B NF4

由 ginipick 开发
这是Qwen/QwQ-32B模型的4位量化版本，通过BitsAndBytes库进行优化，适用于资源受限环境下的文本生成任务。
大型语言模型
Transformers
英语
开源协议:Apache-2.0#4位量化#大语言模型#文本生成
下载量 150
发布时间 : 3/21/2025
模型介绍
内容详情
替代品

模型简介

该模型是原始Qwen/QwQ-32B的量化版本，主要用于英语文本生成任务，采用Apache 2.0许可证发布。

模型特点

4位量化
使用BitsAndBytes库进行int4量化，显著减少模型内存占用。
高效推理
优化后的模型在保持性能的同时，提高了推理效率。
双重量化
采用双重量化技术进一步压缩模型大小。

模型能力

英语文本生成
聊天对话

使用案例

对话系统
智能聊天机器人
构建英语聊天机器人，提供自然流畅的对话体验。
内容生成
英语文本创作
自动生成英语文章、故事或其他文本内容。