🚀 GLiClass：用于序列分类的通用轻量级模型

GLiClass 是一款高效的零样本分类器，它受到了 GLiNER 工作的启发。该模型在单次前向传播中即可完成分类任务，在具备与交叉编码器相当性能的同时，还拥有更高的计算效率。它可用于 主题分类、情感分析，并能在 RAG 管道中作为重排器使用。

🚀 快速开始

安装

首先，你需要安装 GLiClass 库：

pip install gliclass
pip install -U transformers>=4.48.0

初始化模型和管道

from gliclass import GLiClassModel, ZeroShotClassificationPipeline
from transformers import AutoTokenizer

model = GLiClassModel.from_pretrained("knowledgator/gliclass-modern-base-v3.0")
tokenizer = AutoTokenizer.from_pretrained("knowledgator/gliclass-modern-base-v3.0", add_prefix_space=True)
pipeline = ZeroShotClassificationPipeline(model, tokenizer, classification_type='multi-label', device='cuda:0')

text = "One day I will see the world!"
labels = ["travel", "dreams", "sport", "science", "politics"]
results = pipeline(text, labels, threshold=0.5)[0] #because we have one text
for result in results:
 print(result["label"], "=>", result["score"])

NLI 任务使用方法

如果你想将其用于 NLI 类型的任务，建议将前提表示为文本，假设表示为标签。你可以输入多个假设，但模型在单个输入假设的情况下效果最佳。

# Initialize model and multi-label pipeline
text = "The cat slept on the windowsill all afternoon"
labels = ["The cat was awake and playing outside."]
results = pipeline(text, labels, threshold=0.0)[0]
print(results)

✨ 主要特性

• 高效零样本分类：受 GLiNER 工作启发，在单次前向传播中完成分类，计算效率高。
• 多任务应用：可用于主题分类、情感分析，还能在 RAG 管道中作为重排器。
• 逻辑推理能力：模型在逻辑任务上进行训练，诱导推理能力。
• LoRA 微调：使用 LoRA 适配器微调模型，保留先前知识。

📦 安装指南

pip install gliclass
pip install -U transformers>=4.48.0

💻 使用示例

基础用法

from gliclass import GLiClassModel, ZeroShotClassificationPipeline
from transformers import AutoTokenizer

model = GLiClassModel.from_pretrained("knowledgator/gliclass-modern-base-v3.0")
tokenizer = AutoTokenizer.from_pretrained("knowledgator/gliclass-modern-base-v3.0", add_prefix_space=True)
pipeline = ZeroShotClassificationPipeline(model, tokenizer, classification_type='multi-label', device='cuda:0')

text = "One day I will see the world!"
labels = ["travel", "dreams", "sport", "science", "politics"]
results = pipeline(text, labels, threshold=0.5)[0] #because we have one text
for result in results:
 print(result["label"], "=>", result["score"])

高级用法（NLI 任务）

# Initialize model and multi-label pipeline
text = "The cat slept on the windowsill all afternoon"
labels = ["The cat was awake and playing outside."]
results = pipeline(text, labels, threshold=0.0)[0]
print(results)

📚 详细文档

LoRA 参数

GLiClass-V3 模型信息

基准测试

以下是几个文本分类数据集上的 F1 分数。所有测试模型均未在这些数据集上进行微调，而是在零样本设置下进行测试。

GLiClass-V3

先前的 GLiClass 模型

交叉编码器

推理速度

每个模型都在文本长度为 64、256 和 512 个标记，标签数量为 1、2、4、8、16、32、64 和 128 的示例上进行了测试，然后对不同文本长度的分数进行了平均。

📄 许可证

本项目采用 Apache-2.0 许可证。

模型相关信息