语言:

• 韩文 标签:
• 基于Keras回调生成 模型索引:
• 名称: t5-large-korean-text-summary 结果: []

t5-large-korean-text-summary

该模型是基于paust/pko-t5-large模型，利用AIHUB的“摘要及报告生成数据”进行微调的成果。此模型能够对韩语长文本提供简洁的摘要。

使用方法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
import nltk
nltk.download('punkt')

model_dir = "lcw99/t5-large-korean-text-summary"
tokenizer = AutoTokenizer.from_pretrained(model_dir)
model = AutoModelForSeq2SeqLM.from_pretrained(model_dir)

max_input_length = 512 + 256

text = """
主人公姜仁九（河正宇饰）听闻朋友朴应洙（玄奉植饰）说‘苏里南盛产鳐鱼但大多被丢弃’，为了将苏里南鳐鱼出口至韩国而前往当地。
国立水产科学院表示：“实际上南大西洋栖息着大量鳐鱼，阿根廷等南美国家捕获量很大”，并说明“苏里南海域应该也有大量鳐鱼栖息”。

但据关税厅透露，韩国从未进口过苏里南产鳐鱼。部分观点指出“为赚钱寻找苏里南鳐鱼的设定缺乏说服力”。因为剧集背景设定的2008~2010年间，国内已有阿根廷、智利、美国等美洲产鳐鱼进口。实际协助抓捕赵奉行行动的‘合作者K先生’当年赴苏里南从事的也非鳐鱼生意，而是去销售船用特种焊条。
"""

inputs = ["summarize: " + text]

inputs = tokenizer(inputs, max_length=max_input_length, truncation=True, return_tensors="pt")
output = model.generate(**inputs, num_beams=8, do_sample=True, min_length=10, max_length=100)
decoded_output = tokenizer.batch_decode(output, skip_special_tokens=True)[0]
predicted_title = nltk.sent_tokenize(decoded_output.strip())[0]

print(predicted_title)

预期用途与限制

需补充更多信息

训练与评估数据

需补充更多信息

训练流程

训练超参数

训练过程中使用了以下超参数：

• 优化器：未指定
• 训练精度：float16

训练结果