AIbase

Q

Qwq 32B Bnb 4bit

由 fantos 开发
Qwen/QwQ-32B的4位量化版本，基于BitsAndBytes库实现，适用于资源受限环境下的文本生成任务。
大型语言模型
Transformers
英语
开源协议:Apache-2.0#4位量化#高效推理#英文文本生成
下载量 115
发布时间 : 3/20/2025
模型介绍
内容详情
替代品

模型简介

该模型是Qwen/QwQ-32B的量化版本，通过4位量化技术减少模型大小和内存占用，同时保持较高的性能，主要用于英文文本生成和聊天任务。

模型特点

4位量化
使用BitsAndBytes库实现4位量化，显著减少模型大小和内存占用。
高效推理
在资源受限环境下仍能保持较高的推理性能。
英文文本生成
专注于英文文本生成任务，支持聊天等应用场景。

模型能力

文本生成
聊天

使用案例

聊天机器人
英文聊天助手
用于构建英文聊天机器人，提供流畅的对话体验。
内容生成
英文文本创作
生成各种类型的英文文本内容，如文章、故事等。