language: zh
thumbnail:
license: mit
tags:

• 问答系统
• bert
• bert-base
  datasets:
• squad
  metrics:
• squad
  widget:
• text: "埃菲尔铁塔位于哪里？"
  context: "埃菲尔铁塔是一座位于法国巴黎战神广场的锻铁格子塔，以工程师古斯塔夫·埃菲尔的名字命名，其公司设计并建造了该塔。"
• text: "弗雷德里克·肖邦是谁？"
  context: "弗雷德里克·弗朗索瓦·肖邦（1810年3月1日－1849年10月17日），原名弗里德里克·弗朗齐歇克·肖邦，是浪漫主义时期的波兰作曲家和钢琴演奏大师，主要创作独奏钢琴作品。"

基于SQuAD v1微调的BERT-base无大小写模型

该模型为块稀疏结构：线性层仅保留原有权重的7.5%。

模型整体保留原有权重的28.2%。

训练采用Victor Sanh改进版的动态剪枝方法。

这意味着使用块稀疏运行时，评估速度比密集网络快1.92倍，但会略微影响准确率（如下所示）。

本模型基于HuggingFaceBERT无大小写基础版在SQuAD1.1微调，并蒸馏自等效模型csarron/bert-base-uncased-squad-v1。该模型不区分大小写：english和English视为相同。

剪枝细节

块剪枝的副作用是部分注意力头被完全移除：144个注意力头中移除了106个（73.6%）。

下图展示了剪枝后网络中剩余注意力头的分布情况。

密度分布图

详细数据

微调配置

• Python版本：3.8.5

• 机器配置：

内存: 64 GiB  
显卡: 1块GeForce GTX 3090，24GiB显存  
显卡驱动: 455.23.05, CUDA: 11.1  

性能指标

PyTorch模型文件大小：335M（原始BERT：438M）

使用示例

from transformers import pipeline  

qa_pipeline = pipeline(  
    "question-answering",  
    model="madlag/bert-base-uncased-squad1.1-block-sparse-0.07-v1",  
    tokenizer="madlag/bert-base-uncased-squad1.1-block-sparse-0.07-v1"  
)  

predictions = qa_pipeline({  
    'context': "弗雷德里克·弗朗索瓦·肖邦（1810年3月1日－1849年10月17日），原名弗里德里克·弗朗齐歇克·肖邦，是浪漫主义时期的波兰作曲家和钢琴演奏大师，主要创作独奏钢琴作品。",  
    'question': "弗雷德里克·肖邦是谁？",  
})  

print(predictions)