针对SST-2微调的DistilBERT基础未编码版本

目录

• 模型详情
• 快速使用指南
• 用途
• 风险、局限性与偏见
• 训练过程

模型详情

模型描述： 本模型是基于DistilBERT-base-uncased在SST-2数据集上微调的版本。在开发集上达到91.3%的准确率（作为对比，Bert bert-base-uncased版本准确率为92.7%）。

• 开发团队： Hugging Face
• 模型类型： 文本分类
• 支持语言： 英语
• 许可协议： Apache-2.0
• 基础模型： 有关DistilBERT的更多细节，请参阅该模型卡片
• 更多资源：
  • 模型文档
  • DistilBERT论文

快速使用指南

单标签分类示例：

import torch
from transformers import DistilBertTokenizer, DistilBertForSequenceClassification

tokenizer = DistilBertTokenizer.from_pretrained("distilbert-base-uncased-finetuned-sst-2-english")
model = DistilBertForSequenceClassification.from_pretrained("distilbert-base-uncased-finetuned-sst-2-english")

inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
with torch.no_grad():
    logits = model(**inputs).logits

predicted_class_id = logits.argmax().item()
model.config.id2label[predicted_class_id]

用途

直接使用

本模型可用于主题分类。原始模型可用于掩码语言建模或下一句预测，但主要适用于下游任务的微调。可通过模型中心查找您感兴趣任务的微调版本。

不当使用与超范围使用

不得使用本模型故意制造针对人群的敌对或疏远环境。此外，该模型训练目的并非生成关于人物或事件的真实表述，因此用于此类内容生成已超出模型能力范围。

风险、局限性与偏见

根据实验观察，该模型可能产生针对弱势群体的偏见预测。

例如，对于类似"该电影在COUNTRY拍摄"的句子，这个二分类模型会根据国家不同给出截然不同的正面标签概率（法国为0.89，而阿富汗仅为0.08），尽管输入内容并未体现如此强烈的语义差异。Aurélien Géron在这个协作笔记本中制作了各国概率分布图。

我们强烈建议用户针对具体使用场景深入测试这些方面，以评估模型风险。推荐从以下偏见评估数据集入手：WinoBias、WinoGender、Stereoset。

训练过程

训练数据

开发者使用斯坦福情感树库(sst2)进行模型训练。

训练参数

• 学习率 = 1e-5
• 批次大小 = 32
• 预热步数 = 600
• 最大序列长度 = 128
• 训练轮次 = 3.0