🚀 BERT-base uncased模型在SQuAD v1上微调

本模型为块稀疏模型：线性层包含原权重的 31.7%。

模型整体包含原权重的 47.0%。

训练采用了Victor Sanh Movement Pruning方法的改进版本。

这意味着使用块稀疏运行时，该模型在评估时比密集网络快 1.12倍，但会对准确率产生一定影响（详见下文）。

此模型是在HuggingFace的BERT基础无大小写检查的检查点上，针对SQuAD1.1进行微调，并从等价模型csarron/bert-base-uncased-squad-v1进行蒸馏得到的。该模型不区分大小写：对于“english”和“English”不会有不同处理。

✨ 主要特性

• 块稀疏模型，减少了权重数量，在评估时运行速度更快。
• 基于BERT基础无大小写检查的检查点微调，适用于问答任务。
• 不区分大小写，对英文大小写不敏感。

📚 详细文档

剪枝细节

块剪枝的一个副作用是部分注意力头被完全移除：在总共144个注意力头中，有80个被移除（占比55.6%）。

以下是剪枝后剩余注意力头在网络中分布的详细视图。

密度图

详细信息

微调信息

• Python版本：3.8.5
• 机器规格：

CPU: Intel(R) Core(TM) i7-6700K CPU
内存: 64 GiB
GPU: 1 GeForce GTX 3090，显存24GiB
GPU驱动: 455.23.05，CUDA: 11.1

结果

Pytorch模型文件大小：355M（原始BERT：438M）

💻 使用示例

基础用法

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="madlag/bert-base-uncased-squad1.1-block-sparse-0.32-v1",
    tokenizer="madlag/bert-base-uncased-squad1.1-block-sparse-0.32-v1"
)

predictions = qa_pipeline({
    'context': "Frédéric François Chopin, born Fryderyk Franciszek Chopin (1 March 1810 – 17 October 1849), was a Polish composer and virtuoso pianist of the Romantic era who wrote primarily for solo piano.",
    'question': "Who is Frederic Chopin?",
})

print(predictions)

📄 许可证

本项目采用MIT许可证。