pipeline_tag: 文本摘要 language:

• 韩语 tags:
• T5模型

t5-small-korean-summarization（韩语小型摘要T5模型）

这是基于T5架构的韩语文本摘要模型：

• 微调自'paust/pko-t5-small'基础模型
• 使用3个数据集进行微调，具体包括：
  • 韩国论文摘要数据集
  • 韩国书籍摘要数据集
  • 韩国摘要陈述与报告生成数据集

使用方法（HuggingFace Transformers库）

import nltk
nltk.download('punkt')
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

model = AutoModelForSeq2SeqLM.from_pretrained('eenzeenee/t5-small-korean-summarization')
tokenizer = AutoTokenizer.from_pretrained('eenzeenee/t5-small-korean-summarization')

prefix = "summarize: "
sample = """
    （此处保留韩语原文作为示例，实际使用时替换为需要摘要的文本）"""

inputs = [prefix + sample]

inputs = tokenizer(inputs, max_length=512, truncation=True, return_tensors="pt")
output = model.generate(**inputs, num_beams=3, do_sample=True, min_length=10, max_length=64)
decoded_output = tokenizer.batch_decode(output, skip_special_tokens=True)[0]
result = nltk.sent_tokenize(decoded_output.strip())[0]

print('摘要结果 >>', result)