许可证: mit
数据集:

• cnmoro/QuestionClassification-v2
  语言:
• 英语
• 葡萄牙语
  标签:
• 分类
• 提问
• 定向问题
• 通用问题
  管道标签: 文本分类
  基础模型:
• ibm-granite/granite-embedding-30m-english
  库名称: transformers

这是对 ibm-granite/granite-embedding-30m-english 模型进行微调的版本。

目标是区分问题为"定向"或"通用"。

如果问题不是定向的，我们会调整在 RAG 管道中的操作（如果是通用问题，语义搜索可能无法直接发挥作用；例如请求摘要时）。

（类别 0 为通用问题；类别 1 为定向问题）

训练准确率达到 94%。

此模型是之前模型的升级版：https://huggingface.co/cnmoro/bert-tiny-question-classifier

import torch  
from transformers import AutoTokenizer, AutoModelForSequenceClassification  

model_id = "cnmoro/granite-question-classifier"  
model = AutoModelForSequenceClassification.from_pretrained(model_id)  
tokenizer = AutoTokenizer.from_pretrained(model_id)  
model.eval()  

def predict_question_category(question):  
    inputs = tokenizer.encode_plus(  
        question,  
        add_special_tokens=True,  
        max_length=512,  
        return_tensors="pt",  
        truncation=True  
    )  

    input_ids = inputs["input_ids"]  
    attention_mask = inputs["attention_mask"]  

    with torch.no_grad():  
        outputs = model(input_ids, attention_mask=attention_mask)  
        logits = outputs.logits.squeeze(-1)  
        print(logits)  
        prediction = (logits > 0).float().item()  

    # 将预测结果映射到类别  
    return "定向问题" if prediction == 1.0 else "通用问题"  

predict_question_category("Qual o resumo do texto?") # 通用问题  
predict_question_category("Qual foi a crítica que o autor recebeu do jornal, em relação a sua opinião?") # 定向问题