语言: 英文
缩略图:
许可证: MIT
标签:

• 问答系统
• BERT
• 基础版BERT
  数据集:
• SQuAD
  评估指标:
• SQuAD
  小部件示例:
• 文本: "埃菲尔铁塔位于哪里？"
  上下文: "埃菲尔铁塔是一座位于法国巴黎战神广场的锻铁格子塔，以工程师古斯塔夫·埃菲尔的名字命名，其公司设计并建造了该塔。"
• 文本: "弗雷德里克·肖邦是谁？"
  上下文: "弗雷德里克·弗朗索瓦·肖邦（原名弗里德里克·弗朗齐歇克·肖邦，1810年3月1日－1849年10月17日），是浪漫主义时期主要为独奏钢琴创作的波兰作曲家和钢琴演奏大师。"

基于SQuAD v1微调的BERT基础无大小写模型

此模型为块稀疏结构：线性层仅保留原有权重的12.5%。

整体而言，模型保留了原模型**32.1%**的权重。

训练采用了Victor Sanh改进版的动态剪枝方法。

这意味着使用块稀疏运行时，评估速度比密集网络快1.65倍，但会略微影响准确率（如下所示）。

该模型基于HuggingFace的BERT基础无大小写检查点在SQuAD1.1上微调，并从等效模型csarron/bert-base-uncased-squad-v1蒸馏而来。此模型不区分大小写：例如"english"和"English"视为相同。

剪枝细节

块剪枝的副作用是部分注意力头被完全移除：144个注意力头中移除了97个（占67.4%）。

下图展示了剪枝后网络中剩余注意力头的分布详情。

密度分布图

详细数据

微调配置

• Python版本: 3.8.5

• 机器配置:

内存: 64 GiB  
GPU: 1块GeForce GTX 3090，显存24GiB  
显卡驱动: 455.23.05, CUDA版本: 11.1  

性能结果

PyTorch模型文件大小: 342M（原始BERT: 438M）

使用示例

from transformers import pipeline  

qa_pipeline = pipeline(  
    "question-answering",  
    model="madlag/bert-base-uncased-squad1.1-block-sparse-0.13-v1",  
    tokenizer="madlag/bert-base-uncased-squad1.1-block-sparse-0.13-v1"  
)  

predictions = qa_pipeline({  
    'context': "弗雷德里克·弗朗索瓦·肖邦（原名弗里德里克·弗朗齐歇克·肖邦，1810年3月1日－1849年10月17日），是浪漫主义时期主要为独奏钢琴创作的波兰作曲家和钢琴演奏大师。",  
    'question': "弗雷德里克·肖邦是谁？",  
})  

print(predictions)