许可证：llama3.1
数据集：['allenai/c4']
语言：['英语', '德语', '法语', '意大利语', '葡萄牙语', '印地语', '西班牙语', '泰语']
评估指标：['困惑度', '准确率']
标签：['acip', 'pytorch']
基础模型：

• meta-llama/Llama-3.1-8B
  任务标签：文本生成
  库名称：transformers

[ 🤖 GitHub | 📄 论文 | 🌐 官网 ]

ACIP应用于meta-llama/Llama-3.1-8B

此模型仓库是ACIP项目的一部分，提供了meta-llama/Llama-3.1-8B的可压缩版本。更多详情请访问我们的代码仓库。

快速开始

只需通过from_pretrained加载ACIP模型：

from transformers import AutoModel  

model = AutoModel.from_pretrained("MerantixMomentum/acip_llama31_8b", trust_remote_code=True)  

这将下载并创建一个完全参数化的ACIP模型，可按需压缩至任意比例。
例如：

model.prune_model_by_score(size_ratio=0.4)  

会将model压缩至原参数量的40%（即60%压缩率）。
ACIP的独特之处在于此操作可逆——您可以反复调用model.prune_model_by_score以评估不同压缩率下的模型表现。最后，确定目标比例后执行：

model.compress()  

该操作将永久丢弃所有被剪枝的掩码值（此步骤不可逆，需重新加载模型才能恢复）。此时模型实际已完成压缩，内存占用将显著降低。
如需进一步节省内存，可执行：

model.quantize()  

（目前仅测试过bitsandbytes的4比特量化，但支持自定义方案）。

🚀 大功告成！您现在可以像使用任何🤗 transformers的因果语言模型一样，对压缩后的模型进行推理或微调。

注意：参数size_ratio取值范围为1.0至0.0，表示压缩后的模型大小比例。例如0.4表示保留原参数量的40%，1.0表示不压缩。也可使用等效参数compression_rate（此时size_ratio = 1.0 - compression_rate）。

依赖项

运行本仓库的ACIP模型仅需基础依赖：torch、transformers、peft，若需量化则额外安装bitsandbytes。
具体版本要求参见requirements.txt（更高版本通常兼容）。

许可证

本模型基于llama3.1许可证发布。

引用

使用或引用本模型时，请引用我们的论文：

@article{mxm2025acip,  
  title={Choose Your Model Size: Any Compression by a Single Gradient Descent},   
  author={M. Genzel, P. Putzky, P. Zhao, S. Schulze, M. Mollenhauer, R. Seidel, S. Dietzel, T. Wollmann},  
  year={2025},  
  journal={Preprint arXiv:2502.01717}  
}