language: zh thumbnail: license: mit tags:

• 问答系统
• bert
• bert-base datasets:
• squad metrics:
• squad widget:
• text: "埃菲尔铁塔位于哪里？" context: "埃菲尔铁塔是位于法国巴黎战神广场的一座锻铁格子塔。它以工程师古斯塔夫·埃菲尔的名字命名，其公司设计并建造了这座塔。"
• text: "弗雷德里克·肖邦是谁？" context: "弗雷德里克·弗朗索瓦·肖邦（波兰语：Fryderyk Franciszek Chopin，1810年3月1日－1849年10月17日），是浪漫主义时期的波兰作曲家和钢琴演奏家，主要为独奏钢琴创作。"

基于SQuAD v1微调的BERT-base uncased模型

此模型为块稀疏模型：线性层仅保留原模型**20.2%**的权重。

模型总体保留原权重38.1%。

训练采用了Victor Sanh改进版的Movement Pruning方法。

这意味着使用块稀疏运行时，评估速度比密集网络快1.39倍，但会略微影响准确率（如下所示）。

该模型基于HuggingFace的BERT base uncased检查点在SQuAD1.1上微调，并从等效模型csarron/bert-base-uncased-squad-v1蒸馏而来。此模型不区分大小写：english和English视为相同。

剪枝细节

块剪枝的一个副作用是部分注意力头被完全移除：144个注意力头中移除了90个（62.5%）。

下图展示了剪枝后网络中剩余注意力头的分布详情。

密度图

详细数据

微调环境

• Python版本：3.8.5

• 机器配置：

内存: 64 GiB
GPU: 1块GeForce GTX 3090，24GiB显存
GPU驱动: 455.23.05, CUDA: 11.1

结果

PyTorch模型文件大小：347M（原始BERT：438M）

使用示例

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="madlag/bert-base-uncased-squad1.1-block-sparse-0.20-v1",
    tokenizer="madlag/bert-base-uncased-squad1.1-block-sparse-0.20-v1"
)

predictions = qa_pipeline({
    'context': "弗雷德里克·弗朗索瓦·肖邦（波兰语：Fryderyk Franciszek Chopin，1810年3月1日－1849年10月17日），是浪漫主义时期的波兰作曲家和钢琴演奏家，主要为独奏钢琴创作。",
    'question': "弗雷德里克·肖邦是谁？",
})

print(predictions)