缩略图: "https://assets-global.website-files.com/646b351987a8d8ce158d1940/64ec9e96b4334c0e1ac41504_Logo%20with%20white%20text.svg" 基础模型: google/gemma-2b 评估指标:

• 内存磁盘占用
• 推理内存消耗
• 推理延迟
• 推理吞吐量
• 推理二氧化碳排放
• 推理能耗 标签:
• pruna-ai

让AI模型更经济、更小巧、更迅捷、更环保！

• 若喜欢此模型，请点赞支持！
• 点击此处联系我们，告知下一个需要压缩的模型。
• 申请访问权限，轻松压缩您自己的AI模型。
• 查阅文档了解更多详情。
• 加入Pruna AI的Discord社区点击进入，分享反馈/建议或获取帮助。

成果展示

常见问题解答

• 压缩原理是什么？ 模型采用AWQ技术进行压缩。
• 模型质量如何变化？ 输出质量可能与基础模型存在差异。
• 如何评估模型效率？ 测试结果基于NVIDIA A100-PCIE-40GB硬件，配置详见model/smash_config.json，且经过硬件预热处理。压缩模型直接与原始基础模型对比。不同环境（如硬件/图像尺寸/批处理量等）效率可能波动，建议在实际应用场景中验证收益。
• 模型格式是什么？ 采用safetensors格式。
• 使用何种校准数据？ 若压缩方法需要，采用WikiText作为校准数据集。
• Pruna模型的命名规则？ 原始模型名后缀添加"turbo"/"tiny"/"green"标识，分别表示推理速度/内存占用/能耗低于原模型90%。
• 如何压缩自定义模型？ 申请高级访问获取专属压缩方案和技术支持。
• "首次"指标含义？ 指模型首次运行的指标，由于CUDA初始化开销，可能比后续运行更耗内存或更慢。
• "同步"与"异步"指标区别？ "同步"指标需等待所有GPU进程完成；"异步"指标在CPU可获取输出时即停止计时。根据应用场景选择参考指标，建议实际测试验证。

环境配置

运行压缩模型步骤如下：

0. 确保已安装原始仓库google/gemma-2b的要求（特别注意Python/CUDA/transformers版本）
1. 安装量化相关包：

   pip install autoawq
   

2. 加载并运行模型：

   from transformers import AutoModelForCausalLM, AutoTokenizer
   from awq import AutoAWQForCausalLM
   
   model = AutoAWQForCausalLM.from_quantized("PrunaAI/google-gemma-2b-AWQ-4bit-smashed", trust_remote_code=True, device_map='auto')
   tokenizer = AutoTokenizer.from_pretrained("google/gemma-2b")
   
   input_ids = tokenizer("梅干的颜色是什么？", return_tensors='pt').to(model.device)["input_ids"]
   
   outputs = model.generate(input_ids, max_new_tokens=216)
   tokenizer.decode(outputs[0])
   

配置信息

完整配置见smash_config.json文件。

版权声明

压缩模型遵循原始模型许可协议。使用前请确认基础模型google/gemma-2b的许可条款。pruna-engine的许可协议详见PyPI页面。

想压缩其他模型？

• 联系我们推荐下一个压缩目标
• 申请权限压缩您的专属模型