🚀 SetFit结合sentence-transformers/all-MiniLM-L6-v2在sst2数据集上的应用

这是一个基于 SetFit 训练的模型，在 sst2 数据集上进行训练，可用于文本分类任务。该SetFit模型使用 sentence-transformers/all-MiniLM-L6-v2 作为句子嵌入模型，并使用 LogisticRegression 进行分类。

该模型采用了高效的少样本学习技术进行训练，具体步骤如下：

1. 使用对比学习对 Sentence Transformer 进行微调。
2. 使用微调后的句子嵌入模型的特征训练分类头。

✨ 主要特性

• 高效少样本学习：无需提示即可实现高效的少样本学习。
• 文本分类能力：可对文本进行分类，适用于sst2数据集相关的文本分类任务。

📦 安装指南

首先安装SetFit库：

pip install setfit

💻 使用示例

基础用法

from setfit import SetFitModel

# 从🤗 Hub下载模型
model = SetFitModel.from_pretrained("tomaarsen/setfit-all-MiniLM-L6-v2-sst2-8-shot")
# 进行推理
preds = model("a fast , funny , highly enjoyable movie . ")

📚 详细文档

模型详情

模型描述

模型来源

• 仓库：GitHub上的SetFit
• 论文：Efficient Few-Shot Learning Without Prompts
• 博客文章：SetFit: Efficient Few-Shot Learning Without Prompts

模型标签

评估

指标

训练详情

训练集指标

训练超参数

• 批量大小：(16, 16)
• 训练轮数：(3, 3)
• 最大步数：-1
• 采样策略：过采样
• 嵌入模型学习率：(2e-05, 1e-05)
• 分类头学习率：0.01
• 损失函数：CosineSimilarityLoss
• 距离度量：余弦距离
• 边界值：0.25
• 端到端训练：否
• 使用混合精度训练：否
• 热身比例：0.1
• 随机种子：42
• 训练结束时加载最佳模型：是

训练结果

注：加粗行表示保存的检查点。

环境影响

使用 CodeCarbon 测量碳排放：

• 碳排放：0.003千克二氧化碳
• 使用时长：0.072小时

训练硬件

• 是否使用云服务：否
• GPU型号：1 x NVIDIA GeForce RTX 3090
• CPU型号：13th Gen Intel(R) Core(TM) i7-13700K
• 内存大小：31.78 GB

框架版本

• Python：3.9.16
• SetFit：1.0.0.dev0
• Sentence Transformers：2.2.2
• Transformers：4.29.0
• PyTorch：1.13.1+cu117
• Datasets：2.15.0
• Tokenizers：0.13.3

📄 许可证

本项目采用apache-2.0许可证。

📚 引用

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}