开源许可: apache-2.0
基础模型:

• Qwen/Qwen3-8B
• DavidAU/Qwen3-8B-192k-Context-6X-Josiefied-Uncensored
  库名称: mlx
  标签:
• 非全年龄向
  任务类型: 文本生成

模型概览

这是Qwen3-8B的4位AWQ量化版本，专为MLX库高效推理优化，可处理长上下文任务（19.2万词元）并降低资源消耗。在保留Qwen3-8B核心能力的同时，支持在边缘设备部署。

性能指标

重要提示：LM Studio提示模板

需修改提示模板以确保兼容LM Studio推理流程，模板结构如下：

(此处保留原始Jinja2模板代码，仅作格式转换)

模型详情

• 基础模型: Qwen3-8B
• 量化方式: MLX库AWQ Q4 (4位)
• 上下文长度: 192,000词元 (标准版6倍)
• 运行库: MLX (苹果芯片优化，macOS专用)
• 许可证: Apache 2.0
• 任务类型: 文本生成
• 标签: 非全年龄向, 对话式, mlx

核心特性

• 高效推理: 4位量化使内存占用较FP16降低约75%
• 长上下文支持: 19.2万词元处理能力（适用于文档分析/代码生成）
• 跨平台: 通过MLX支持苹果芯片加速
• 可定制提示: 适配LM Studio等工具的模板调整

应用场景

• 研究: 长上下文NLP实验，模型压缩研究
• 开发: 边缘设备部署，长上下文实时聊天机器人
• 企业: 高性价比的文档处理与代码生成方案

⚠️偏差风险与限制

潜在偏差

• 训练数据多样但仍可能包含社会偏见（如性别/文化假设）
• "非全年龄向"标签表示可能生成敏感内容

技术限制

• 4位量化可能略微影响复杂任务准确率
• 性能依赖硬件（MLX仅优化苹果芯片）

缓解措施

• 输出内容审查
• 建议在受控环境中使用

快速开始

安装

# 安装MLX（仅限苹果芯片）
pip install mlx

# 通过Hugging Face加载模型
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("Goraint/Qwen3-8b-192k-Context-6X-Josiefied-Uncensored-MLX-AWQ-4bit", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("Goraint/Qwen3-8b-192k-Context-6X-Josiefied-Uncensored-MLX-AWQ-4bit")

示例用法

prompt = "用简单语言解释量子计算"
inputs = tokenizer(prompt, return_tensors="pt").to("mps")
outputs = model.generate(**inputs, max_length=200)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

环境影响

• 预估碳排放: ML Impact计算器
  • 硬件: Apple M1 Pro (16GB内存)
  • 训练耗时: 不适用（基于预训练模型量化）

社区支持

• 文档: Hugging Face文档
• 问题反馈: GitHub Issues
• 讨论区: Hugging Face论坛

许可证

Apache 2.0

注意: 本模型为社区贡献版本，非阿里云官方支持。生产环境中请始终验证输出的准确性与安全性。