数据集:

• microsoft/ms_marco 语言:
• 英文 基础模型:
• google-t5/t5-base 任务标签: 文本生成文本

基于T5和序列到序列的问题分解器

示例：法国的首都是什么，它是什么时候建立的？

• 法国的首都是什么？
• 法国的首都是什么时候建立的？

查看我的演示 👉🏻 演示

使用方法

from transformers import T5Tokenizer, T5ForConditionalGeneration
import torch

# 设置设备
device = "mps" if torch.backends.mps.is_available() else "cuda" if torch.cuda.is_available() else "cpu"

# 加载模型和分词器
model_path = "thenHung/question_decomposer_t5"
tokenizer = T5Tokenizer.from_pretrained(model_path)
model = T5ForConditionalGeneration.from_pretrained(model_path)
model.to(device)
model.eval()

# 分解问题
question = "约翰和玛丽谁更高？"
input_text = f"分解问题: {question}"
input_ids = tokenizer(
    input_text,
    max_length=128,
    padding="max_length",
    truncation=True,
    return_tensors="pt"
).input_ids.to(device)

with torch.no_grad():
    outputs = model.generate(
        input_ids,
        max_length=128,
        num_beams=4,
        early_stopping=True
    )

# 解码输出
decoded_output = tokenizer.decode(outputs[0], skip_special_tokens=True)
sub_questions = decoded_output.split(" [SEP] ")

# 打印子问题
print(sub_questions)
# ['约翰的身高是多少？', '玛丽的身高是多少？']