语言: 中文
许可证: Apache-2.0
库名称: transformers

SQFT基础模型: sqft-phi-3-mini-4k-60-base

• 源模型: microsoft/Phi-3-mini-4k-instruct
• 稀疏化方法: Wanda
• 稀疏度: 60%
• 量化: 未应用

模型来源

代码仓库: https://github.com/IntelLabs/Hardware-Aware-Automated-Machine-Learning/tree/main/SQFT

论文:

• SQFT: 低精度稀疏基础模型的低成本适配方法
• 低秩适配器与神经架构搜索在大语言模型压缩中的结合

获取模型方式

参考SQFT/run_command/phi-3-mini-4k-instruct/sparse_quantization.sh#11中的命令。

引用

@inproceedings{munoz-etal-2024-sqft,  
    title = "{SQFT}: 低精度稀疏基础模型的低成本适配方法",  
    author = "Munoz, Juan Pablo  and  
      Yuan, Jinjie  and  
      Jain, Nilesh",  
    editor = "Al-Onaizan, Yaser  and  
      Bansal, Mohit  and  
      Chen, Yun-Nung",  
    booktitle = "计算语言学协会发现: EMNLP 2024",  
    month = "11月",  
    year = "2024",  
    address = "美国佛罗里达州迈阿密",  
    publisher = "计算语言学协会",  
    url = "https://aclanthology.org/2024.findings-emnlp.749",  
    pages = "12817--12832",  
}  

致谢

感谢Wanda项目(论文, 代码)，其提供了一种简单而有效的剪枝方法。

许可证

Apache-2.0