库名称:transformers
许可证:mit
基础模型:deepset/gbert-large
标签:
- 训练生成
- 德语
评估指标:
- 准确率
模型索引:
- 名称:german-zeroshot
结果:[]
数据集:
- facebook/xnli
语言:
- 德语
流水线标签:零样本分类
german-zeroshot
此模型是基于deepset/gbert-large在facebook/xnli德语数据集上微调的版本。
在评估集上取得了以下结果:
使用方法
pipe = pipeline(
"zero-shot-classification",
model="kaixkhazaki/german-zeroshot",
tokenizer="kaixkhazaki/german-zeroshot",
device=0 if torch.cuda.is_available() else -1
)
sequence = "您能解释一下在Linux服务器上配置VPN的步骤吗?"
candidate_labels = [
"技术文档",
"IT支持",
"网络管理",
"Linux配置",
"VPN设置"
]
pipe(sequence, candidate_labels)
>>
{'sequence': '您能解释一下在Linux服务器上配置VPN的步骤吗?',
'labels': ['VPN设置', 'Linux配置', '网络管理', 'IT支持', '技术文档'],
'scores': [0.53142249584198, 0.26030370593070984, 0.09126164764165878, 0.06451434642076492, 0.052497804164886475]}
sequence = "这个产品的保修期是多久?"
candidate_labels = [
"保修条款",
"客户服务",
"产品详情",
"投诉",
"购买咨询"
]
pipe(sequence, candidate_labels)
>>
{'sequence': '这个产品的保修期是多久?',
'labels': ['保修条款', '客户服务', '产品详情', '投诉', '购买咨询'],
'scores': [0.414899080991745, 0.2377401739358902, 0.1381743848323822, 0.12171833217144012, 0.08746808022260666]}
模型描述
需要更多信息
预期用途与限制
需要更多信息
训练与评估数据
需要更多信息
训练过程
训练超参数
训练过程中使用了以下超参数:
- 学习率:5e-05
- 训练批次大小:64
- 评估批次大小:32
- 随机种子:42
- 优化器:使用adamw_torch,参数为betas=(0.9,0.999)、epsilon=1e-08,无额外优化器参数
- 学习率调度器类型:余弦
- 学习率预热步数:500
- 训练轮数:3
训练结果
训练损失 |
轮次 |
步数 |
验证损失 |
准确率 |
F1 |
精确率 |
召回率 |
0.6429 |
0.1630 |
1000 |
0.5203 |
0.8004 |
0.8006 |
0.8009 |
0.8004 |
0.5715 |
0.3259 |
2000 |
0.5209 |
0.7964 |
0.7968 |
0.8005 |
0.7964 |
0.5897 |
0.4889 |
3000 |
0.5435 |
0.7924 |
0.7940 |
0.8039 |
0.7924 |
0.5701 |
0.6519 |
4000 |
0.5242 |
0.7880 |
0.7884 |
0.8078 |
0.7880 |
0.5238 |
0.8149 |
5000 |
0.4816 |
0.8233 |
0.8226 |
0.8263 |
0.8233 |
0.5285 |
0.9778 |
6000 |
0.4483 |
0.8265 |
0.8273 |
0.8303 |
0.8265 |
0.4302 |
1.1408 |
7000 |
0.4751 |
0.8209 |
0.8214 |
0.8277 |
0.8209 |
0.4163 |
1.3038 |
8000 |
0.4560 |
0.8285 |
0.8289 |
0.8344 |
0.8285 |
0.3942 |
1.4668 |
9000 |
0.4330 |
0.8414 |
0.8422 |
0.8454 |
0.8414 |
0.3875 |
1.6297 |
10000 |
0.4171 |
0.8430 |
0.8432 |
0.8455 |
0.8430 |
0.3639 |
1.7927 |
11000 |
0.4194 |
0.8442 |
0.8447 |
0.8487 |
0.8442 |
0.3768 |
1.9557 |
12000 |
0.4215 |
0.8474 |
0.8477 |
0.8492 |
0.8474 |
0.2443 |
2.1186 |
13000 |
0.4750 |
0.8390 |
0.8398 |
0.8452 |
0.8390 |
0.2404 |
2.2816 |
14000 |
0.4592 |
0.8486 |
0.8487 |
0.8505 |
0.8486 |
0.2154 |
2.4446 |
15000 |
0.4914 |
0.8418 |
0.8424 |
0.8466 |
0.8418 |
0.2157 |
2.6076 |
16000 |
0.4804 |
0.8454 |
0.8458 |
0.8488 |
0.8454 |
0.2249 |
2.7705 |
17000 |
0.4809 |
0.8466 |
0.8471 |
0.8507 |
0.8466 |
0.2204 |
2.9335 |
18000 |
0.4777 |
0.8466 |
0.8470 |
0.8502 |
0.8466 |
框架版本
- Transformers 4.48.0.dev0
- Pytorch 2.4.1+cu121
- Datasets 3.1.0
- Tokenizers 0.21.0