语言:

• 多语言
• 英语
• 阿拉伯语
• 保加利亚语
• 德语
• 希腊语
• 西班牙语
• 法语
• 印地语
• 俄语
• 斯瓦希里语
• 泰语
• 土耳其语
• 乌尔都语
• 越南语
• 中文

许可证: apache-2.0 数据集:

• xnli
• facebook/anli 任务标签: 零样本分类 基础模型: Alibaba-NLP/gte-multilingual-base 模型索引:
• 名称: gte-multilingual-base-xnli-anli 结果: []

gte-multilingual-base-xnli-anli

该模型是基于Alibaba-NLP/gte-multilingual-base在XNLI和ANLI数据集上微调的版本。

模型描述

mGTE: 多语言文本检索的广义长上下文文本表示与重排序模型。 张欣, 张彦钊, 龙定坤, 谢文, 戴子琪, 唐家隆, 林欢, 杨宝松, 谢鹏君, 黄飞, 张美山, 李文杰, 张敏, arXiv 2024

如何使用该模型

使用零样本分类流水线

可以通过zero-shot-classification流水线加载模型：

from transformers import AutoTokenizer, pipeline
model = "mjwong/gte-multilingual-base-xnli-anli"
tokenizer = AutoTokenizer.from_pretrained(model)
classifier = pipeline("zero-shot-classification",
                      model=model,
                      tokenizer=tokenizer,
                      trust_remote_code=True
                      )

然后可以使用该流水线将序列分类到指定的任何类别名称中。

sequence_to_classify = "有一天我会去看世界"
candidate_labels = ['旅行', '烹饪', '跳舞']
classifier(sequence_to_classify, candidate_labels)

如果多个候选标签可能正确，传递multi_class=True以独立计算每个类别：

candidate_labels = ['旅行', '烹饪', '跳舞', '探索']
classifier(sequence_to_classify, candidate_labels, multi_class=True)

手动使用PyTorch

该模型也可以应用于NLI任务：

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

# device = "cuda:0" 或 "cpu"
device = torch.device("cuda") if torch.cuda.is_available() else torch.device("cpu")

model_name = "mjwong/gte-multilingual-base-xnli-anli"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name, trust_remote_code=True)

premise = "但我以为你戒掉咖啡了。"
hypothesis = "我以为你发誓要多喝咖啡。"

input = tokenizer(premise, hypothesis, truncation=True, return_tensors="pt")
output = model(input["input_ids"].to(device))
prediction = torch.softmax(output["logits"][0], -1).tolist()
label_names = ["蕴含", "中立", "矛盾"]
prediction = {name: round(float(pred) * 100, 2) for pred, name in zip(prediction, label_names)}
print(prediction)

评估结果

该模型在15种语言的XNLI测试集上进行了评估：英语(en)、阿拉伯语(ar)、保加利亚语(bg)、德语(de)、希腊语(el)、西班牙语(es)、法语(fr)、印地语(hi)、俄语(ru)、斯瓦希里语(sw)、泰语(th)、土耳其语(tr)、乌尔都语(ur)、越南语(vi)和中文(zh)。使用的指标是准确率。

该模型还在MultiNLI的开发集和ANLI的测试集上进行了评估。使用的指标是准确率。

训练超参数

训练期间使用了以下超参数：

• 学习率: 2e-05
• 训练批次大小: 16
• 评估批次大小: 16
• 随机种子: 42
• 优化器: Adam，betas=(0.9,0.999)，epsilon=1e-08
• 学习率调度器类型: 线性
• 学习率调度器预热比例: 0.1

框架版本

• Transformers 4.41.0
• Pytorch 2.6.0+cu124
• Datasets 3.2.0
• Tokenizers 0.19.1