语言: 英语
许可证: Apache-2.0
标签:

• 文本分类
  数据集:
• sst2
  评估指标:
• 准确率

基于SST-2微调的bert-base-uncased模型

该模型使用nn_pruning Python库创建：线性层保留了原模型**37%**的权重。

整体而言，该模型保留了原模型**51%**的权重（嵌入层占模型很大部分，且此方法未对嵌入层进行剪枝）。

性能方面，其准确率为91.17。

微调与剪枝细节

此模型基于HuggingFace的bert-base-uncased检查点进行微调，并从textattack/bert-base-uncased-SST-2模型蒸馏得到。该模型不区分大小写：例如"english"和"English"被视为相同。

块剪枝方法的一个副作用是部分注意力头被完全移除：144个注意力头中移除了88个（61.1%）。以下是剪枝后网络中剩余注意力头的分布详情。

SST-2数据集详情

结果

PyTorch模型文件大小: 351MB（原始BERT模型为420MB）

使用示例

安装nn_pruning库（包含优化脚本，通过移除空行/列将线性层压缩为更小的结构）： pip install nn_pruning

然后可近乎常规地使用transformers库，只需在加载管道后调用optimize_model：

from transformers import pipeline
from nn_pruning.inference_model_patcher import optimize_model

cls_pipeline = pipeline(
    "text-classification",
    model="echarlaix/bert-base-uncased-sst2-acc91.1-d37-hybrid",
    tokenizer="echarlaix/bert-base-uncased-sst2-acc91.1-d37-hybrid",
)

print(f"参数计数（仅含注意力头剪枝，不含前馈层剪枝）={int(cls_pipeline.model.num_parameters() / 1E6)}M")
cls_pipeline.model = optimize_model(cls_pipeline.model, "dense")
print(f"优化后参数计数={int(cls_pipeline.model.num_parameters() / 1E6)}M")
predictions = cls_pipeline("这家餐厅太棒了")
print(predictions)