Bert Base Uncased Sparse 85 Unstructured Pruneofa

🚀 85% 稀疏 BERT-Base（无大小写区分）一次性剪枝模型

本模型是一个稀疏预训练模型，可针对广泛的语言任务进行微调。权重剪枝过程是将神经网络的部分权重强制设为零。将部分权重设为零会使矩阵更加稀疏。更新神经网络权重涉及矩阵乘法，如果我们能在保留足够重要信息的同时保持矩阵稀疏，就可以降低整体计算开销。模型标题中的“稀疏”一词表示权重的稀疏比例；更多详细信息，可阅读 Zafrir 等人 (2021)。

Zafrir 等人 (2021) 中一次性剪枝方法的可视化：

✨ 主要特性

• 这是一个通用的稀疏语言模型，当前形式下虽未准备好用于下游预测任务，但可针对多个语言任务进行微调，包括但不限于问答、自然语言推理和情感分类。
• 通过权重剪枝使矩阵稀疏，在保留足够重要信息的同时降低整体计算开销。

📦 安装指南

文档未提供安装步骤，故跳过此章节。

💻 使用示例

基础用法

import transformers

model = transformers.AutoModelForQuestionAnswering.from_pretrained('Intel/bert-base-uncased-sparse-85-unstructured-pruneofa')

高级用法

如需更多代码示例，请参考 GitHub 仓库。

📚 详细文档

模型详情

预期用途

指标（模型性能）

所有结果均为两次使用相同超参数和不同种子的独立实验的平均值。

训练和评估数据

伦理考量

注意事项和建议

⚠️ 重要提示

用户（直接用户和下游用户）应了解该模型的风险、偏差和局限性。该模型没有其他额外的注意事项或建议。

BibTeX 条目和引用信息

@article{zafrir2021prune,
  title={Prune Once for All: Sparse Pre-Trained Language Models},
  author={Zafrir, Ofir and Larey, Ariel and Boudoukh, Guy and Shen, Haihao and Wasserblat, Moshe},
  journal={arXiv preprint arXiv:2111.05754},
  year={2021}
}

📄 许可证

本模型使用 Apache 2.0 许可证。