语言:

• 英文 标签:
• 文本分类
• 零样本分类 评估指标:
• 准确率 小部件示例:
• 文本: "我喜欢这部电影。[SEP] 这部电影很好看。"

MiniLM-L6-mnli模型

模型描述

本模型基于MultiNLI数据集训练而成。基础架构采用微软的MiniLM-L6模型，该模型推理速度极快，但准确率略低于其他大型模型。

使用场景与限制

调用方式

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

model_name = "MoritzLaurer/MiniLM-L6-mnli"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)

premise = "我喜欢这部电影"
hypothesis = "这部电影很好看。"

input = tokenizer(premise, hypothesis, truncation=True, return_tensors="pt")
output = model(input["input_ids"].to(device))  # 设备选择"cuda:0"或"cpu"
prediction = torch.softmax(output["logits"][0], -1).tolist()
label_names = ["蕴含", "中立", "矛盾"]
prediction = {name: round(float(pred) * 100, 1) for pred, name in zip(prediction, label_names)}
print(prediction)

训练数据

MultiNLI多体裁自然语言推理数据集。

训练参数

采用Hugging Face训练器进行微调，关键超参数如下：

training_args = TrainingArguments(
    num_train_epochs=5,              # 总训练轮次
    learning_rate=2e-05,             # 学习率
    per_device_train_batch_size=32,  # 训练批次大小
    per_device_eval_batch_size=32,   # 评估批次大小
    warmup_ratio=0.1,                # 学习率预热比例
    weight_decay=0.06,               # 权重衰减系数
    fp16=True                        # 启用混合精度训练
)

评估结果

在MultiNLI测试集（匹配集）上达到0.814的准确率。

局限性与偏差

建议参考原始MiniLM论文及相关NLI数据集文献以了解潜在偏差。

引用信息

若需引用本模型，请注明原始MiniLM论文、相关NLI数据集，并附上本模型在Hugging Face平台的链接。