许可证：apache-2.0
标签：

• 神经压缩器
• 8位
• int8
• 英特尔®神经压缩器
• 训练后静态量化
• onnx
  数据集：
• squad
  指标：
• f1

INT8版DistilBERT基础未编码模型在SQuAD上微调的模型卡

此模型是DistilBERT基础未编码模型的INT8量化版本，已在斯坦福问答数据集（SQuAD）上进行了微调。量化过程使用了Hugging Face的Optimum-Intel工具，并利用了英特尔®神经压缩器技术。

评估

PyTorch版本

这是通过huggingface/optimum-intel使用英特尔®神经压缩器量化的INT8 PyTorch模型。

ONNX版本

这是通过英特尔®神经压缩器量化的INT8 ONNX模型。

使用方式

Optimum Intel结合神经压缩器

from optimum.intel import INCModelForQuestionAnswering  

model_id = "Intel/distilbert-base-uncased-distilled-squad-int8-static"  
int8_model = INCModelForQuestionAnswering.from_pretrained(model_id)  

Optimum结合ONNX运行时

from optimum.onnxruntime import ORTModelForQuestionAnswering  
model = ORTModelForQuestionAnswering.from_pretrained('Intel/distilbert-base-uncased-distilled-squad-int8-static')  

伦理考量

尽管未明确说明，用户应注意训练数据（SQuAD和维基百科）中可能存在的偏见，并考虑这些偏见对模型输出的影响。量化过程在某些情况下可能引入或放大偏见。

注意事项与建议

• 在关键应用中部署量化模型时，需权衡性能与准确性的平衡。
• 针对特定用例或更严格的准确性要求，可能需要进行额外的微调或校准。