pipeline_tag: 文本摘要 language:

• 韩语 tags:
• T5模型

t5-base-korean-summarization

这是用于韩语文本摘要的T5模型。

• 基于'paust/pko-t5-base'模型微调。

• 使用3个数据集进行微调，具体如下：

  • 韩国论文摘要数据集
  • 韩国书籍摘要数据集
  • 韩国摘要陈述与报告生成数据集

使用方法（HuggingFace Transformers）

import nltk
nltk.download('punkt')
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

model = AutoModelForSeq2SeqLM.from_pretrained('eenzeenee/t5-base-korean-summarization')
tokenizer = AutoTokenizer.from_pretrained('eenzeenee/t5-base-korean-summarization')

prefix = "summarize: "
sample = """
    大家好！我们（二年级）的同学们，大家是不是很想回到学校真正成为（二年级）学生，但因为无法返校而感到郁闷呢？ 
    但大家的健康安全是最重要的。从今天开始，老师将带大家每天进行语文之旅。 
    啊/时间已经这么晚了吗？迟到了迟到了，得赶快开始语文之旅了。 
    不过在出发前，我们得准备好必需品对吧？老师会告诉大家如何获取语文之旅的教材资料。 
    搜索（EBS）小学进入首页会看到这样的界面。 
    点击这里的（X）关闭按钮。看到那个圆圈里的（EBS）（两周）直播特讲了吗？ 
    点击立即前往。点击后会怎样呢？往下滚动滚动再滚动。 
    我们是几年级？啊/（二年级）对吧，语文科目。 
    这周是第一周，所以点击这里的教材。下周从这里下载就行。 
    点击这个教材，瞧/资料就出来了。下载这个教材我们就能开始语文之旅啦。 
    现在让我们真正开启语文之旅吧？语文之旅出发。第一单元标题是什么？来找找看。 
    是《享受诗歌》。不是简单地读诗，而是要享受诗歌。怎么享受呢？ 
    我们将学习各种享受诗歌的方法。今天要怎么享受呢？今天学习的内容是用多种方式朗读诗歌。 
    怎么用多种方式朗读呢？一起来学习吧。今天的诗歌出现啦/！诗歌标题是什么？《吵架的日子》。 
    和谁吵架了呢？和弟弟？姐姐？朋友？老师会朗读诗歌，大家一起来思考。"""

inputs = [prefix + sample]


inputs = tokenizer(inputs, max_length=512, truncation=True, return_tensors="pt")
output = model.generate(**inputs, num_beams=3, do_sample=True, min_length=10, max_length=64)
decoded_output = tokenizer.batch_decode(output, skip_special_tokens=True)[0]
result = nltk.sent_tokenize(decoded_output.strip())[0]

print('结果 >>', result)

结果 >> 在开始语文之旅前，老师讲解了如何获取旅程所需的教材和资料。

评估结果

• 韩国论文摘要数据集

  ROUGE-2-R 0.09868624890432466
  ROUGE-2-P 0.9666714545849712
  ROUGE-2-F 0.17250881441169427
  

• 韩国书籍摘要数据集

  ROUGE-2-R 0.1575686156943213
  ROUGE-2-P 0.9718318136896944
  ROUGE-2-F 0.26548116834852586
  

• 韩国摘要陈述与报告生成数据集

  ROUGE-2-R 0.0987891733555808
  ROUGE-2-P 0.9276946867981899
  ROUGE-2-F 0.17726493110448185
  

训练参数

模型训练采用以下参数：

• 训练参数

Seq2SeqTrainingArguments(
    每设备训练批量大小=8,
    每设备评估批量大小=8,
    自动寻找批量大小=False,
    权重衰减=0.01,
    学习率=4e-05,
    学习率调度器类型=linear,
    训练周期数=3,
    混合精度训练=True)

模型架构

T5条件生成模型(                                                                                                                                             
  (共享层): 词嵌入(50358, 768)                                                                                                                                       
  (编码器): T5堆栈(                                                                                                                                                   
    (词嵌入): 词嵌入(50358, 768)                                                                                                                               
    (模块块): 模块列表(                                                                                                                                                
      (0): T5块(                                                                                                                                                     
        (层): 模块列表(                                                                                                                                            
          (0): T5自注意力层(                                                                                                                                    
            (自注意力机制): T5注意力(                                                                                                                               
              (查询层): 线性层(输入特征=768, 输出特征=768, 偏置=False)
              (键层): 线性层(输入特征=768, 输出特征=768, 偏置=False)
              (值层): 线性层(输入特征=768, 输出特征=768, 偏置=False)
              (输出层): 线性层(输入特征=768, 输出特征=768, 偏置=False)
              (相对注意力偏置): 词嵌入(32, 12)
            )        
            (层归一化): T5层归一化()  
            (丢弃层): 丢弃层(概率=0.1, 原地=False)
          )        
          (1): T5前馈层(   
            (门控激活前馈): T5门控激活密集层(
              (门控线性层0): 线性层(输入特征=768, 输出特征=2048, 偏置=False)
              (门控线性层1): 线性层(输入特征=768, 输出特征=2048, 偏置=False)
              (输出线性层): 线性层(输入特征=2048, 输出特征=768, 偏置=False)
              (丢弃层): 丢弃层(概率=0.1, 原地=False)
              (激活函数): 新型GELU激活()
            )
            (层归一化): T5层归一化()
            (丢弃层): 丢弃层(概率=0.1, 原地=False)
          )
        )
      )
      (1~11): T5块(
        (层): 模块列表(
          (0): T5自注意力层(
            (自注意力机制): T5注意力(
              (查询层): 线性层(输入特征=768, 输出特征=768, 偏置=False)
              (键层): 线性层(输入特征=768, 输出特征=768, 偏置=False)
              (值层): 线性层(输入特征=768, 输出特征=768, 偏置=False)
              (输出层): 线性层(输入特征=768, 输出特征=768, 偏置=False)
            )
            (层归一化): T5层归一化()
            (丢弃层): 丢弃层(概率=0.1, 原地=False)
          )
          (1): T5前馈层(
            (门控激活前馈): T5门控激活密集层(
              (门控线性层0): 线性层(输入特征=768, 输出特征=2048, 偏置=False)
              (门控线性层1): 线性层(输入特征=768, 输出特征=2048, 偏置=False)
              (输出线性层): 线性层(输入特征=2048, 输出特征=768, 偏置=False)
              (丢弃层): 丢弃层(概率=0.1, 原地=False)
              (激活函数): 新型GELU激活()
            )
            (层归一化): T5层归一化()
            (丢弃层): 丢弃层(概率=0.1, 原地=False)
          )
        )
      )
    )
    (最终层归一化): T5层归一化()
    (丢弃层): 丢弃层(概率=0.1, 原地=False)
  )
  (解码器): T5堆栈(
    (词嵌入): 词嵌入(50358, 768)
    (模块块): 模块列表(
      (0): T5块(
        (层): 模块列表(
          (0): T5自注意力层(
            (自注意力机制): T5注意力(
              (查询层): 线性层(输入特征=768, 输出特征=768, 偏置=False)
              (键层): 线性层(输入特征=768, 输出特征=768, 偏置=False)
              (值层): 线性层(输入特征=768, 输出特征=768, 偏置=False)
              (输出层): 线性层(输入特征=768, 输出特征=768, 偏置=False)
              (相对注意力偏置): 词嵌入(32, 12)
            )
            (层归一化): T5层归一化()
            (丢弃层): 丢弃层(概率=0.1, 原地=False)
          )
          (1): T5交叉注意力层(
            (编码解码注意力): T5注意力(
              (查询层): 线性层(输入特征=768, 输出特征=768, 偏置=False)
              (键层): 线性层(输入特征=768, 输出特征=768, 偏置=False)
              (值层): 线性层(输入特征=768, 输出特征=768, 偏置=False)
              (输出层): 线性层(输入特征=768, 输出特征=768, 偏置=False)
            )
            (层归一化): T5层归一化()
            (丢弃层): 丢弃层(概率=0.1, 原地=False)
          )
          (2): T5前馈层(
            (门控激活前馈): T5门控激活密集层(
              (门控线性层0): 线性层(输入特征=768, 输出特征=2048, 偏置=False)
              (门控线性层1): 线性层(输入特征=768, 输出特征=2048, 偏置=False)
              (输出线性层): 线性层(输入特征=2048, 输出特征=768, 偏置=False)
              (丢弃层): 丢弃层(概率=0.1, 原地=False)
              (激活函数): 新型GELU激活()
            )
            (层归一化): T5层归一化()
            (丢弃层): 丢弃层(概率=0.1, 原地=False)
          )
        )
      )
      (1~11): T5块(
        (层): 模块列表(
          (0): T5自注意力层(
            (自注意力机制): T5注意力(
              (查询层): 线性层(输入特征=768, 输出特征=768, 偏置=False)
              (键层): 线性层(输入特征=768, 输出特征=768, 偏置=False)
              (值层): 线性层(输入特征=768, 输出特征=768, 偏置=False)
              (输出层): 线性层(输入特征=768, 输出特征=768, 偏置=False)
            )
            (层归一化): T5层归一化()
            (丢弃层): 丢弃层(概率=0.1, 原地=False)
          )
          (1): T5交叉注意力层(
            (编码解码注意力): T5注意力(
              (查询层): 线性层(输入特征=768, 输出特征=768, 偏置=False)
              (键层): 线性层(输入特征=768, 输出特征=768, 偏置=False)
              (值层): 线性层(输入特征=768, 输出特征=768, 偏置=False)
              (输出层): 线性层(输入特征=768, 输出特征=768, 偏置=False)
            )
            (层归一化): T5层归一化()
            (丢弃层): 丢弃层(概率=0.1, 原地=False)
          )
          (2): T5前馈层(
            (门控激活前馈): T5门控激活密集层(
              (门控线性层0): 线性层(输入特征=768, 输出特征=2048, 偏置=False)
              (门控线性层1): 线性层(输入特征=768, 输出特征=2048, 偏置=False)
              (输出线性层): 线性层(输入特征=2048, 输出特征=768, 偏置=False)
              (丢弃层): 丢弃层(概率=0.1, 原地=False)
              (激活函数): 新型GELU激活()
            )
            (层归一化): T5层归一化()
            (丢弃层): 丢弃层(概率=0.1, 原地=False)
          )
        )
      )
      (最终层归一化): T5层归一化()                              
    (丢弃层): 丢弃层(概率=0.1, 原地=False)                                                                                           
  )                                                                
  (语言模型头): 线性层(输入特征=768, 输出特征=50358, 偏置=False)                                                                   
)

引用文献

• Raffel, Colin等. "探索迁移学习的极限：统一文本到文本转换器"《机器学习研究杂志》21.140(2020):1-67.