language: zh thumbnail: license: mit tags:

• 问答系统
• bert
• bert-base datasets:
• squad metrics:
• squad widget:
• text: "埃菲尔铁塔位于何处？" context: "埃菲尔铁塔是一座位于法国巴黎战神广场的锻铁格子塔。它以工程师古斯塔夫·埃菲尔的名字命名，其公司设计并建造了这座塔。"
• text: "弗雷德里克·肖邦是谁？" context: "弗雷德里克·弗朗索瓦·肖邦（波兰语：Fryderyk Franciszek Chopin，1810年3月1日－1849年10月17日），是浪漫主义时期主要为独奏钢琴创作的波兰作曲家和钢琴演奏家。"

基于SQuAD v1微调的BERT-base uncased模型

此模型采用块稀疏技术。

这意味着在合适的运行时环境下，其运行速度可比密集网络快约3倍，同时仅保留原权重25%。当然，这对准确性有一定影响（见下文）。

该模型使用了Victor Sanh动态剪枝方法的改进版本，基于HuggingFaceBERT基础未区分大小写检查点在SQuAD1.1上微调而成。该模型不区分大小写：如english和English视为相同。

详细数据

微调配置

• Python版本：3.8.5

• 机器配置：

  CPU：英特尔(R) 酷睿(TM) i7-6700K

  内存：64 GiB

  显卡：1块GeForce GTX 3090，24GiB显存

  显卡驱动：455.23.05，CUDA版本：11.1

性能结果

模型大小：418M

注意：上述结果未进行任何超参数搜索。

使用示例

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="madlag/bert-base-uncased-squad-v1-sparse0.25",
    tokenizer="madlag/bert-base-uncased-squad-v1-sparse0.25"
)

predictions = qa_pipeline({
    'context': "弗雷德里克·弗朗索瓦·肖邦（波兰语：Fryderyk Franciszek Chopin，1810年3月1日－1849年10月17日），是浪漫主义时期主要为独奏钢琴创作的波兰作曲家和钢琴演奏家。",
    'question': "弗雷德里克·肖邦是谁？",
})

print(predictions)