语言:

• 韩文 标签:
• 基于Keras回调生成 模型索引:
• 名称: t5-base-korean-text-summary 结果: []

t5-base-korean-text-summary

该模型是基于paust/pko-t5-base模型，利用AIHUB的"摘要及报告生成数据"进行微调的成果。此模型能够对韩语长文本进行简洁摘要。

使用方法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
import nltk
nltk.download('punkt')

model_dir = "lcw99/t5-base-korean-text-summary"
tokenizer = AutoTokenizer.from_pretrained(model_dir)
model = AutoModelForSeq2SeqLM.from_pretrained(model_dir)

max_input_length = 512

text = """
主人公姜仁九（河正宇饰）听朋友朴应洙（玄奉植饰）说'苏里南盛产鳐鱼但都废弃了'，于是前往苏里南将当地鳐鱼出口至韩国。
国立水产科学院表示："实际上南大西洋栖息着大量鳐鱼，阿根廷等南美国家捕获量很大"，"苏里南沿海应该也有大量鳐鱼栖息"。

但据海关统计，韩国从未进口过苏里南产鳐鱼。有观点指出："为赚钱去苏里南收购鳐鱼的设定缺乏合理性"。因为剧集背景设定的2008-2010年间，国内已有来自阿根廷、智利、美国等美洲国家的鳐鱼进口。实际协助抓捕赵奉行行动的'合作者K先生'当初去苏里南也是为了销售船用特种焊条，而非鳐鱼生意。
"""

inputs = ["summarize: " + text]

inputs = tokenizer(inputs, max_length=max_input_length, truncation=True, return_tensors="pt")
output = model.generate(**inputs, num_beams=8, do_sample=True, min_length=10, max_length=100)
decoded_output = tokenizer.batch_decode(output, skip_special_tokens=True)[0]
predicted_title = nltk.sent_tokenize(decoded_output.strip())[0]

print(predicted_title)

预期用途与限制

需要更多信息

训练与评估数据

需要更多信息

训练流程

训练超参数

训练过程中使用了以下超参数:

• 优化器: 无
• 训练精度: float16

训练结果