许可证：其他
数据集：['allenai/c4']
语言：['en']
评估指标：['困惑度', '准确率']
标签：['acip', 'pytorch']
基础模型：

• jeffwan/llama-7b-hf
  管道标签：文本生成
  库名称：transformers

[ 🤖 GitHub | 📄 论文 | 🌐 网站 ]

ACIP应用于jeffwan/llama-7b-hf

此模型仓库是ACIP项目的一部分，提供了jeffwan/llama-7b-hf的可压缩版本。更多详情，请访问我们的代码仓库。

快速开始

只需通过from_pretrained加载ACIP模型：

from transformers import AutoModel  

model = AutoModel.from_pretrained("MerantixMomentum/acip_llama1_7b", trust_remote_code=True)  

这将下载并创建一个完全参数化的ACIP模型，可以按需压缩到任意压缩率。
例如：

model.prune_model_by_score(size_ratio=0.4)  

会将model压缩至原参数数量的40%（即60%的压缩率）。
ACIP的一个独特功能是此操作是可逆的，您可以多次运行model.prune_model_by_score以评估不同压缩率下的模型性能。最后，您可以“确定”某个压缩率并运行：

model.compress()  

这将丢弃所有可压缩线性层中被剪枝的掩码值。此时模型已真正压缩，您应能观察到内存使用显著下降（此步骤不可逆，除非重新加载ACIP模型）。
如果需要，您还可以运行：

model.quantize()  

以进一步节省内存（我们仅测试过bitsandbytes的4位量化，但您也可以自定义此功能）。

🚀 搞定！您现在可以像使用🤗 transformers中的任何其他因果语言模型一样，使用压缩后的模型进行推理或微调。

注意：参数size_ratio范围为1.0到0.0，表示压缩后的模型大小。例如，0.4表示模型仅保留原参数数量的40%，1.0表示完全不压缩。您也可以在prune_model_by_score中设置compression_rate，其等价于size_ratio = 1.0 - compression_rate。

依赖项

要运行我们Hub中的ACIP模型，您仅需最小依赖项：torch、transformers、peft，以及可选的bitsandbytes（如需量化模型）。具体版本要求请参见requirements.txt（更新的版本通常也可兼容）。

许可证

本模型许可证继承自基础模型jeffwan/llama-7b-hf。

引用

使用或引用此模型时，请引用我们的论文：

@article{mxm2025acip,  
  title={Choose Your Model Size: Any Compression by a Single Gradient Descent},   
  author={M. Genzel, P. Putzky, P. Zhao, S. Schulze, M. Mollenhauer, R. Seidel, S. Dietzel, T. Wollmann},  
  year={2025},  
  journal={Preprint arXiv:2502.01717}  
}