标签:

• 摘要生成
• mT5模型 语言:
• 阿姆哈拉语
• 阿拉伯语
• 阿塞拜疆语
• 孟加拉语
• 缅甸语
• 中文
• 英语
• 法语
• 古吉拉特语
• 豪萨语
• 印地语
• 伊博语
• 印尼语
• 日语
• 基隆迪语
• 韩语
• 吉尔吉斯语
• 马拉地语
• 尼泊尔语
• 奥罗莫语
• 普什图语
• 波斯语
• 尼日利亚皮钦语
• 葡萄牙语
• 旁遮普语
• 俄语
• 苏格兰盖尔语
• 塞尔维亚语
• 僧伽罗语
• 索马里语
• 西班牙语
• 斯瓦希里语
• 泰米尔语
• 泰卢固语
• 泰语
• 提格里尼亚语
• 土耳其语
• 乌克兰语
• 乌尔都语
• 乌兹别克语
• 越南语
• 威尔士语
• 约鲁巴语 许可证:
• 知识共享署名-非商业性使用-相同方式共享4.0协议 示例输入:
• 文本: "YouTube宣布将下架声称获批疫苗危险并导致自闭症、癌症或不孕的视频，同时终止反疫苗影响者账号。科技巨头因未有效打击平台健康虚假信息受批评。美国总统拜登七月指出社交媒体传播疫苗错误信息导致公众接种疑虑，呼吁平台整改。谷歌旗下YouTube自去年实施新冠疫苗不实内容禁令以来已删除13万条视频。该公司博客称新冠疫苗虚假指控已蔓延至其他疫苗领域，新政策涵盖麻疹、乙肝等长期获批疫苗。平台表示正与世卫组织及各地卫生部门合作，依据安全有效性认证扩大现有疫苗医疗不实信息管理政策。"

mT5-m2o-英语跨语言摘要模型

本仓库包含基于CrossSum数据集所有跨语言对微调的mT5多对一(m2o)模型，其目标摘要为英语，即该模型致力于将任意语言文本摘要为英语。微调细节及脚本详见论文与官方仓库。

在transformers中使用本模型(4.11.0.dev0版本测试)

import re
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

WHITESPACE_HANDLER = lambda k: re.sub('\s+', ' ', re.sub('\n+', ' ', k.strip()))

article_text = """YouTube宣布将下架声称获批疫苗危险并导致自闭症、癌症或不孕的视频，同时终止反疫苗影响者账号。科技巨头因未有效打击平台健康虚假信息受批评。美国总统拜登七月指出社交媒体传播疫苗错误信息导致公众接种疑虑，呼吁平台整改。谷歌旗下YouTube自去年实施新冠疫苗不实内容禁令以来已删除13万条视频。该公司博客称新冠疫苗虚假指控已蔓延至其他疫苗领域，新政策涵盖麻疹、乙肝等长期获批疫苗。平台表示正与世卫组织及各地卫生部门合作，依据安全有效性认证扩大现有疫苗医疗不实信息管理政策。"""

model_name = "csebuetnlp/mT5_m2o_english_crossSum"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)

input_ids = tokenizer(
    [WHITESPACE_HANDLER(article_text)],
    return_tensors="pt",
    padding="max_length",
    truncation=True,
    max_length=512
)["input_ids"]

output_ids = model.generate(
    input_ids=input_ids,
    max_length=84,
    no_repeat_ngram_size=2,
    num_beams=4
)[0]

summary = tokenizer.decode(
    output_ids,
    skip_special_tokens=True,
    clean_up_tokenization_spaces=False
)

print(summary)