许可证: mit
语言:

• 英语
  标签:
• 摘要生成
• 标题生成
• 文本生成
  数据集:
• JulesBelveze/tldr_news
  评估指标:
• rouge1
• rouge2
• rougeL
• rougeLsum

用于标题生成的t5-small模型

此模型是基于t5-small微调的标题生成模型，使用了JulesBelveze/tldr_news数据集进行训练。

使用该模型

import re  
from transformers import AutoTokenizer, T5ForConditionalGeneration  

WHITESPACE_HANDLER = lambda k: re.sub('\s+', ' ', re.sub('\n+', ' ', k.strip()))  

article_text = """美国联邦通信委员会(FCC)委员Brendan Carr已要求苹果和谷歌将TikTok从其应用商店中下架。该视频应用由中国公司字节跳动所有。Carr声称TikTok充当了监控工具，收集美国公民大量个人和敏感数据。TikTok表示其数据访问审批流程由美国安全团队监督，且数据仅在严格管控下按需访问。"""  
model_name = "JulesBelveze/t5-small-headline-generator"  

tokenizer = AutoTokenizer.from_pretrained(model_name)  
model = T5ForConditionalGeneration.from_pretrained(model_name)  

input_ids = tokenizer(  
    [WHITESPACE_HANDLER(article_text)],  
    return_tensors="pt",  
    padding="max_length",  
    truncation=True,  
    max_length=384  
)["input_ids"]  

output_ids = model.generate(  
    input_ids=input_ids,  
    max_length=84,  
    no_repeat_ngram_size=2,  
    num_beams=4  
)[0]  

summary = tokenizer.decode(  
    output_ids,  
    skip_special_tokens=True,  
    clean_up_tokenization_spaces=False  
)  
print(summary)  

评估结果