缩略图: "https://assets-global.website-files.com/646b351987a8d8ce158d1940/64ec9e96b4334c0e1ac41504_Logo%20with%20white%20text.svg" 指标:

• 内存磁盘占用
• 推理内存消耗
• 推理延迟
• 推理吞吐量
• 推理二氧化碳排放
• 推理能耗 标签:
• pruna-ai

让AI模型更经济、更小巧、更迅捷、更环保！

• 如果喜欢这个模型，请点赞支持！
• 联系我们告知下一个需要压缩的模型。
• 申请访问权限轻松压缩您自己的AI模型。
• 查阅文档了解更多信息。
• 加入Pruna AI的Discord社区点击这里分享反馈/建议或获取帮助。

效果展示

常见问题解答

• 压缩原理是什么？ 采用llm-int8技术进行模型压缩。
• 模型质量如何变化？ 输出质量可能与原始模型存在差异。
• 如何评估模型效率？ 测试结果基于NVIDIA A100-PCIE-40GB硬件，配置详见model/smash_config.json，并在硬件预热后测得。压缩模型直接与原始基准模型对比。不同环境（如硬件、图像尺寸、批处理量等）效率表现可能不同，建议在实际使用场景中验证。
• 模型格式是什么？ 采用safetensors格式。
• 使用何种校准数据？ 若压缩方法需要，我们采用WikiText作为校准数据集。
• Pruna的Huggingface模型命名规则？ 当压缩模型的推理速度/内存占用/能耗低于原模型90%时，在原名后添加"turbo"、"tiny"或"green"后缀。
• 如何压缩自有模型？ 申请高级访问权限获取专属压缩方案和技术支持。
• "首次"指标含义？ 标注"首次"的结果来自模型第一次运行时的数据，由于CUDA初始化开销，首次运行可能消耗更多内存或更慢。
• "同步"与"异步"指标区别？ "同步"指标需等待所有GPU进程执行完毕；"异步"指标在CPU可获取输出时即停止计时。根据使用场景选择参考指标，建议实际测试验证。

环境配置

运行压缩模型的步骤：

0. 确保已安装原始仓库Universal-NER/UniNER-7B-all的要求，特别注意python、cuda和transformers版本。
1. 安装量化相关依赖：

   pip install transformers accelerate bitsandbytes>0.37.0
   

2. 加载并运行模型：

   from transformers import AutoModelForCausalLM, AutoTokenizer
   
   model = AutoModelForCausalLM.from_pretrained("PrunaAI/Universal-NER-UniNER-7B-all-bnb-4bit-smashed",
                                               trust_remote_code=True, device_map='auto')
   tokenizer = AutoTokenizer.from_pretrained("Universal-NER/UniNER-7B-all")
   
   input_ids = tokenizer("What is the color of prunes?,", return_tensors='pt').to(model.device)["input_ids"]
   
   outputs = model.generate(input_ids, max_new_tokens=216)
   tokenizer.decode(outputs[0])
   

配置文件

配置信息详见smash_config.json。

版权声明

压缩模型遵循原始模型许可协议。使用前请确认原始模型Universal-NER/UniNER-7B-all的许可条款。pruna-engine的许可协议详见PyPI页面。

想压缩其他模型？

• 联系我们推荐下一个待压缩模型。
• 申请权限压缩您的专属AI模型。