语言:

• 英文 许可证: apache-2.0 库名称: setfit 标签:
• setfit
• 句子转换器
• 文本分类
• 由setfit训练器生成 数据集:
• sst2 指标:
• 精确度
• 召回率
• F1分数 小部件:
• 文本: '这是一个关于两个不合群者的故事，他们单独时毫无机会，但在一起时却光芒四射。'
• 文本: '它对自己没有信心，缺乏幽默感……只是纯粹的无聊。'
• 文本: '乐队面对官方压制的勇气令人鼓舞，尤其对年长的嬉皮士（包括我在内）来说。'
• 文本: '一部快速、有趣、非常令人享受的电影。'
• 文本: '这部电影通过隐藏这些思想达到了与《羽毛笔》展示它们时同样巨大的影响力。' 管道标签: 文本分类 二氧化碳当量排放: 排放量: 2.768308759172054 来源: codecarbon 训练类型: 微调 云端训练: 否 CPU型号: 第13代英特尔酷睿i7-13700K 内存总大小: 31.777088165283203 GB 使用小时数: 0.072 使用硬件: 1 x NVIDIA GeForce RTX 3090 基础模型: sentence-transformers/all-MiniLM-L6-v2 模型索引:
• 名称: 基于sentence-transformers/all-MiniLM-L6-v2的SetFit模型在sst2数据集上的表现 结果:
  • 任务: 类型: 文本分类 名称: 文本分类 数据集: 名称: sst2 类型: sst2 分割: 测试 指标:
    • 类型: 准确率 值: 0.7512953367875648 名称: 准确率

基于sentence-transformers/all-MiniLM-L6-v2的SetFit模型在sst2数据集上的表现

这是一个在sst2数据集上训练的SetFit模型，可用于文本分类。该SetFit模型使用sentence-transformers/all-MiniLM-L6-v2作为句子转换器嵌入模型，并采用逻辑回归实例进行分类。

该模型通过高效的少样本学习技术训练，包括：

1. 使用对比学习微调句子转换器。
2. 使用微调后的句子转换器特征训练分类头。

模型详情

模型描述

• 模型类型: SetFit
• 句子转换器主体: sentence-transformers/all-MiniLM-L6-v2
• 分类头: 逻辑回归实例
• 最大序列长度: 256个标记
• 类别数量: 2类
• 训练数据集: sst2
• 语言: 英文
• 许可证: apache-2.0

模型来源

• 仓库: GitHub上的SetFit
• 论文: 无需提示的高效少样本学习
• 博客文章: SetFit: 无需提示的高效少样本学习

模型标签

评估

指标

使用

直接推理使用

首先安装SetFit库：

pip install setfit

然后可以加载此模型并运行推理。

from setfit import SetFitModel

# 从🤗 Hub下载
model = SetFitModel.from_pretrained("tomaarsen/setfit-all-MiniLM-L6-v2-sst2-8-shot")
# 运行推理
preds = model("一部快速、有趣、非常令人享受的电影。")

训练详情

训练集指标

训练超参数

• 批量大小: (16, 16)
• 周期数: (3, 3)
• 最大步数: -1
• 采样策略: 过采样
• 主体学习率: (2e-05, 1e-05)
• 头部学习率: 0.01
• 损失函数: 余弦相似度损失
• 距离度量: 余弦距离
• 边距: 0.25
• 端到端: 否
• 使用AMP: 否
• 预热比例: 0.1
• 种子: 42
• 结束时加载最佳模型: 是

训练结果

• 加粗行表示保存的检查点。

环境影响

碳排放使用CodeCarbon测量。

• 碳排放量: 0.003 kg CO2
• 使用小时数: 0.072 小时

训练硬件

• 云端训练: 否
• GPU型号: 1 x NVIDIA GeForce RTX 3090
• CPU型号: 第13代英特尔酷睿i7-13700K
• 内存大小: 31.78 GB

框架版本

• Python: 3.9.16
• SetFit: 1.0.0.dev0
• 句子转换器: 2.2.2
• Transformers: 4.29.0
• PyTorch: 1.13.1+cu117
• 数据集: 2.15.0
• Tokenizers: 0.13.3

引用

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}