许可证：apache-2.0
数据集：['allenai/c4']
语言：['中文', '英语', '法语', '西班牙语', '葡萄牙语', '德语', '意大利语', '俄语', '日语', '韩语', '越南语', '泰语', '阿拉伯语']
评估指标：['困惑度', '准确率']
标签：['acip', 'pytorch']
基础模型：

• Qwen/Qwen2.5-3B
  任务标签：文本生成
  库名称：transformers

[ 🤖 GitHub | 📄 论文 | 🌐 官网 ]

ACIP应用于Qwen/Qwen2.5-3B

此模型仓库是ACIP项目的一部分，提供了Qwen/Qwen2.5-3B的可压缩版本。更多详情，请访问我们的代码仓库。

快速开始

只需通过from_pretrained加载ACIP模型：

from transformers import AutoModel

model = AutoModel.from_pretrained("MerantixMomentum/acip_qwen25_3b", trust_remote_code=True)

这将下载并创建一个完全参数化的ACIP模型，您可以按需压缩至任意比例。例如：

model.prune_model_by_score(size_ratio=0.4)

会将model压缩至原参数量的40%（即60%的压缩率）。
ACIP的独特之处在于此操作可逆——您可以反复调用model.prune_model_by_score以评估不同压缩率下的模型表现。最后，您可以通过：

model.compress()

确认特定压缩率，此时所有被剪枝的掩码值将被永久移除（此操作不可逆，需重新加载模型才能恢复）。
此时您会观察到显存占用显著降低。若需要进一步节省内存，可运行：

model.quantize()

（目前仅测试过bitsandbytes的4比特量化，但您也可自定义其他量化方案）。

🚀 大功告成！您现在可以像使用任何🤗 transformers的因果语言模型一样，用压缩后的模型进行推理或微调。

注意：参数size_ratio取值范围为1.0至0.0，表示压缩后的模型大小比例。例如0.4表示保留原参数量的40%，1.0表示不压缩。您也可使用等效参数compression_rate（此时size_ratio = 1.0 - compression_rate）。

依赖项

运行本仓库的ACIP模型仅需基础依赖：torch、transformers、peft，若需量化则额外安装bitsandbytes。
具体版本要求参见requirements.txt（更新版本通常也可兼容）。

许可证

本模型基于apache-2.0许可证发布。

引用

使用或参考本模型时，请引用我们的论文：

@article{mxm2025acip,
  title={Choose Your Model Size: Any Compression by a Single Gradient Descent}, 
  author={M. Genzel, P. Putzky, P. Zhao, S. Schulze, M. Mollenhauer, R. Seidel, S. Dietzel, T. Wollmann},
  year={2025},
  journal={Preprint arXiv:2502.01717}
}