缩略图: "https://assets-global.website-files.com/646b351987a8d8ce158d1940/64ec9e96b4334c0e1ac41504_Logo%20with%20white%20text.svg" 指标:

• 内存磁盘占用
• 推理内存消耗
• 推理延迟
• 推理吞吐量
• 推理二氧化碳排放
• 推理能耗 标签:
• pruna-ai

让AI模型更便宜、更小巧、更快速、更环保！

• 如果喜欢这个模型，请点赞！
• 联系我们告诉我们下一个要压缩的模型。
• 申请访问轻松压缩您自己的AI模型。
• 阅读文档了解更多。
• 加入Pruna AI的Discord社区这里分享反馈/建议或获取帮助。

结果

常见问题解答

• 压缩是如何工作的？ 模型通过llm-int8进行压缩。
• 模型质量如何变化？ 模型输出的质量可能与基础模型有所不同。
• 如何评估模型效率？ 这些结果是在NVIDIA A100-PCIE-40GB上获得的，配置见model/smash_config.json，并在硬件预热后测得。压缩模型直接与原始基础模型比较。其他设置下效率结果可能不同（如不同硬件、图像大小、批次大小等）。建议在实际使用条件下运行以判断压缩模型是否适合您。
• 模型格式是什么？ 我们使用safetensors格式。
• 使用了哪些校准数据？ 如果压缩方法需要，我们使用WikiText作为校准数据。
• Pruna Huggingface模型的命名规则是什么？ 我们在原始模型名称后添加"turbo"、"tiny"或"green"，如果压缩模型的推理速度、推理内存或推理能耗低于原始基础模型的90%。
• 如何压缩自己的模型？ 您可以申请高级访问获取更多压缩方法及针对您特定用例的技术支持。
• 什么是"首次"指标？ 标有"首次"的结果是在模型首次运行后获得的。由于CUDA开销，首次运行可能比后续运行占用更多内存或更慢。
• 什么是"同步"和"异步"指标？ "同步"指标通过同步所有GPU进程并在全部执行完毕后停止测量获得。"异步"指标不同步GPU进程，在模型输出可供CPU使用时停止测量。我们提供两种指标，因为两者都可能与用例相关。建议直接在您的用例中测试效率提升。

设置

按照以下步骤运行压缩模型：

0. 确保已安装原始仓库mosaicml/mpt-7b-storywriter的要求，特别是python、cuda和transformers版本。
1. 确保已安装量化相关包。

   pip install transformers accelerate bitsandbytes>0.37.0
   

2. 加载并运行模型。

   from transformers import AutoModelForCausalLM, AutoTokenizer
   
   model = AutoModelForCausalLM.from_pretrained("PrunaAI/mosaicml-mpt-7b-storywriter-bnb-4bit-smashed",
                                                trust_remote_code=True, device_map='auto')
   tokenizer = AutoTokenizer.from_pretrained("mosaicml/mpt-7b-storywriter")
   
   input_ids = tokenizer("What is the color of prunes?,", return_tensors='pt').to(model.device)["input_ids"]
   
   outputs = model.generate(input_ids, max_new_tokens=216)
   tokenizer.decode(outputs[0])
   

配置

配置信息见smash_config.json。

版权与许可

压缩模型的许可遵循原始模型许可。使用本模型前请检查原始模型mosaicml/mpt-7b-storywriter的许可。pruna-engine的许可见Pypi。

想压缩其他模型？

• 联系我们告诉我们下一个要压缩的模型。
• 申请访问轻松压缩您自己的AI模型。