许可证：llama2
数据集：['allenai/c4']
语言：['en']
评估指标：['困惑度', '准确率']
标签：['acip', 'pytorch']
基础模型：

• meta-llama/Llama-2-13b-hf
  任务标签：文本生成
  库名称：transformers

[ 🤖 GitHub | 📄 论文 | 🌐 官网 ]

ACIP应用于meta-llama/Llama-2-13b-hf

此模型仓库是ACIP项目的一部分，提供了meta-llama/Llama-2-13b-hf的可压缩版本。更多详情，请访问我们的代码仓库。

快速开始

只需通过from_pretrained加载ACIP模型：

from transformers import AutoModel

model = AutoModel.from_pretrained("MerantixMomentum/acip_llama2_13b", trust_remote_code=True)

这将下载并创建一个完全参数化的ACIP模型，可以按需压缩至任意比例。例如：

model.prune_model_by_score(size_ratio=0.4)

会将model压缩至原参数量的40%（即60%压缩率）。ACIP的独特之处在于此操作可逆——您可以反复调用model.prune_model_by_score以评估不同压缩率下的模型表现。最后，可通过：

model.compress()

提交特定压缩率，永久丢弃所有被剪枝的掩码值（此操作不可逆，需重新加载模型才能恢复）。若需要，还可运行：

model.quantize()

进一步节省内存（目前仅测试过bitsandbytes的4位量化，但支持自定义方案）。

🚀 大功告成！您现在可以像使用任何🤗 transformers的因果语言模型一样，用压缩后的模型进行推理或微调。

注意：参数size_ratio范围为1.0至0.0，表示压缩后的模型大小比例。例如0.4表示保留原参数量的40%，1.0表示不压缩。也可使用等效参数compression_rate（此时size_ratio = 1.0 - compression_rate）。

依赖项

运行本仓库的ACIP模型仅需基础依赖：torch、transformers、peft，若需量化则额外安装bitsandbytes。具体版本要求参见requirements.txt（更高版本通常兼容）。

许可证

本模型基于llama2许可证发布。

引用

使用或参考本模型时，请引用我们的论文：

@article{mxm2025acip,
  title={Choose Your Model Size: Any Compression by a Single Gradient Descent}, 
  author={M. Genzel, P. Putzky, P. Zhao, S. Schulze, M. Mollenhauer, R. Seidel, S. Dietzel, T. Wollmann},
  year={2025},
  journal={预印本 arXiv:2502.01717}
}