Long T5 Tglobal Large Pubmed 3k Booksum 16384 WIP15

由 pszemraj 开发

基于Long-T5架构的大规模摘要生成模型，专门针对书籍和长文档摘要任务进行优化

文本生成

Transformers

开源协议:Bsd-3-clause #长文本摘要 #书籍摘要生成 #高ROUGE得分

下载量 17

发布时间 : 9/20/2022

模型介绍

内容详情

替代品

模型简介

该模型是基于Long-T5架构的变体，专门用于处理长文档和书籍的摘要生成任务。它在pubmed和booksum数据集上进行训练，能够处理长达16384个token的输入文本。

模型特点

长文本处理能力

支持处理长达16384个token的输入文本，适合书籍和长文档摘要

专业领域优化

在pubmed医学文献和booksum书籍摘要数据集上进行了专门训练

多数据集表现

在多个摘要数据集上进行了评估，包括samsum、booksum和gov_report

模型能力

长文本摘要生成

书籍内容摘要

技术文档摘要

政府报告摘要

使用案例

学术研究

医学文献摘要

为pubmed等医学文献生成简洁摘要

ROUGE-1得分35.33(booksum数据集)

出版行业

书籍内容摘要

为长篇书籍生成章节或全书摘要

平均生成长度268个token(booksum数据集)

政府文档处理

政府报告摘要

处理长篇政府报告并生成关键点摘要

ROUGE-1得分37.04(gov_report数据集)

许可证:

apache-2.0
bsd-3-clause

标签:

摘要生成
摘要
书籍摘要
长文档
长文本

数据集:

kmfoda/booksum

评估指标:

rouge

推理: 禁用

基础模型: pszemraj/long-t5-tglobal-large-pubmed-3k-booksum-16384-WIP13

模型索引:

名称: pszemraj/long-t5-tglobal-large-pubmed-3k-booksum-16384-WIP15 结果:
- 任务: 类型: 摘要生成名称: 摘要生成数据集: 名称: samsum 类型: samsum 配置: samsum 分割: 测试集指标:
  - 类型: rouge 值: 24.5482 名称: ROUGE-1 已验证: 是验证令牌: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiM2U3MGNlNzI0MGNiYWQ2NGRhYzg5M2Y3NjhjYTdhZmVlYWNmM2Y0YTFhN2I2ZmI5NDVkY2I2M2MxMjM5ZDIwOSIsInZlcnNpb24iOjF9.tHnV8ofGr9jbx0fHm3cDL6p8nqXZITS1H6XLjW-iWaNFuQJ7Qfs7E0uYNf2haQP6Mu5K5eWWGdg54KtMi1N9DA
  - 类型: rouge 值: 4.811 名称: ROUGE-2 已验证: 是验证令牌: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiYzE1ODYzOGFhMDE4ZGU1OTM0OTM5NDBkNjEwODQzY2I1NzRhYTc0NDJjZmM5YzI4ZGZmZGNkZjljYmNlYTQ1YyIsInZlcnNpb24iOjF9.n7tOZFKEePwSEqM7a0Y-fBiEEi3jZL7QwP0MCQNun5yKsd2OIkTlruuauV3h8yHN5yKxg33CUfpzS2B44kGjBg
  - 类型: rouge 值: 17.2505 名称: ROUGE-L 已验证: 是验证令牌: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiMjM3YTYwNjAyYzY5MmZjMzI1MmYwNzI2OWNmMzJiNzk3MTY5Y2E4ZmM1OTIyYjQ1NTkxMjI1ZGMwYmRiYzg5NiIsInZlcnNpb24iOjF9.1VQIehrugMj213RavmSAf1qsKTG3Jmj6DAJGi3KOeOYrJpKeLBQ6ftQZ_wSje8UiyR9uekne1wTd256sr61DBQ
  - 类型: rouge 值: 20.906 名称: ROUGE-LSUM 已验证: 是验证令牌: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiNDdhNjJlOTY3ZjgxOGMzYjkzOGI2NGJlZDY0MDk0NmE5ZDcyMzIyNTA1M2ZhNmMyOTFlODJjZWJkY2ZjMTQ3NCIsInZlcnNpb24iOjF9.SLAdCUY_9PFb7BrvvpN2ABDU9uvy7EIMEHKtnlpH94nZbv2G2sj74tWLcIQstuTkmXmLTk6_HvdZTEaoUc-5CA
  - 类型: 损失值: 3.3002164363861084 名称: 损失已验证: 是验证令牌: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiNDFkM2UyOWQ5YzM2ZDIwZGRmNTY2YTRlMzUzY2QxZDhkNGFmODljNjIxNWQxZjFhM2E2YjM4ZWRjZDUzNWQxNyIsInZlcnNpb24iOjF9.HUYhxEAGbZS8J76Zt9k5KNFt6dx_vdoqf34k5ht3X0BTB4u2WiYwVS9O0ka2ExCynIODo9OMWLcMG2CW-xnjBA
  - 类型: 生成长度值: 52 名称: 生成长度已验证: 是验证令牌: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiZTkxMWQ0ZWVlNWUxNjYwNTU3MTQzYjRhZGI1YjQ1ODYxOGRlNTU0ZjlkOGZiN2UzM2I5MjU3Y2QxODU3MTJmZCIsInZlcnNpb24iOjF9.9iDB-q3h2qYZIRHLKryZIjYYUeN_4_9hr5miRgmJl8TYB1Prf69NNziW7QPOkMXMOM-5-xvRVKmx-JqZQSkcDg
- 任务: 类型: 摘要生成名称: 摘要生成数据集: 名称: kmfoda/booksum 类型: kmfoda/booksum 配置: kmfoda--booksum 分割: 测试集指标:
  - 类型: rouge 值: 35.3305 名称: ROUGE-1 已验证: 是验证令牌: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiY2Q0NWU1Mjc0ZTYxOGM5NjI3NTlmODYwMmU4ODE3Y2VjYjdmNTRhOWI2MDdlM2U3OTk5N2Q3YTcyYTViYzIwMiIsInZlcnNpb24iOjF9.ScFds-4QZgG0Wro-w0qnoaQSoXXMpWOTEE4zYrvA9k2lew965geaqeBVAt7QQxwchuB9q26hSGYCEqLMdX3EBw
  - 类型: rouge 值: 5.8001 名称: ROUGE-2 已验证: 是验证令牌: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiYjFiNjU2ZjI1YmE2NDViZjUwMjI1ZWFiNDkyMjExZjJjMjBmN2I5ZmYyYjE0MGEzNzk3ZGE4YTMzNzA0M2NjNSIsInZlcnNpb24iOjF9.H4r1JTjEC3ABkgVIi8i3TRxQ1gMsYoQR8qCBbJVkdWJQwECzWGZRw6QIaWz0kZv73nQ890kf90JE6FKeD2MpAg
  - 类型: rouge 值: 16.0557 名称: ROUGE-L 已验证: 是验证令牌: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiNjBjNTBiYmM3OWM3ZjFkN2FjZTBiMGJkMTg4MTYxYzRjNWUzNWE2YWVjOWJiMzRkZTMxMGFkYThlYmZiN2UwNSIsInZlcnNpb24iOjF9.mLij-24wue3udXSS5H3kBniefh7NDTmNf3bxacq7UinFkbTtqx9OvS6Ywun4LfJj_Ufn9-uTMR2VbaoIIQKkBA
  - 类型: rouge 值: 32.3409 名称: ROUGE-LSUM 已验证: 是验证令牌: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiZjg3ODliOTAzYzg4Y2NhNzI4M2I4OGM1ZGQwMWE5ZjBiZGQyNTNhMDQxZDllMzgxOGM0NWZjZTJjMzFkZGVkZSIsInZlcnNpb24iOjF9.LpNcyf7HNaL_xwb4zqrBgOPoTBWFaBN0AgSbzsgfsQ7J12CIi7s0UoBhxg_c8UYwNuqFOZouYIq78r1PM81RCA
  - 类型: 损失值: 3.0063540935516357 名称: 损失已验证: 是验证令牌: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiMTJmMGM2Y2U0MDU0OTFlMzJlNTNlZjViYTAyYjE4YTVkOWJhMmQxZjc3MjM4ZGNkNTNmOTViNDYwZjg0MWI0YyIsInZlcnNpb24iOjF9.VLKkHEjp4Iq1r3-CXSABBzgPJFx1sbjRt5KbbKe_AEuKuJtXI6rRWPuBjudOLB-CHBvutDzVS9wR60pGaQ5jCg
  - 类型: 生成长度值: 268.4032 名称: 生成长度已验证: 是验证令牌: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiYjJmYjZhOGFkMGNkZjEzOTA0Y2RjNWU3Yjc2ZGI5NWU1MTNjZjY5NzFiZjI0YjBhZjUxMDFlMjBmZTYxMWE0ZCIsInZlcnNpb24iOjF9.vnImpJVQBidfhKVOzEYuA2okKgbTvB0bkc4GNmvkTlxXdZlsqg1KuevQa587lmy0LQOZk1_pYWz0aVJ4VQQQAA
- 任务: 类型: 摘要生成名称: 摘要生成数据集: 名称: launch/gov_report 类型: launch/gov_report 配置: 纯文本分割: 测试集指标:
  - 类型: rouge 值: 37.0412 名称: ROUGE-1 已验证: 是验证令牌: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiOTQ0NzdhYjdlNDNhYjJmNzQwM2E1OWQ3ZTQxMTZiY2IwNjJkMzE0YzNmMWZjZTI0NGI2NWYzNTU0ODM0OTVmMCIsInZlcnNpb24iOjF9.1Gf6zoMOLmf71bkW9RdiXJPDms-vfc0hu0jJehdb7XCjW-hPcmLxdk8ALwWi9knBmeHZ18GHHSJklgU_maFoAA
  - 类型: rouge 值: 8.519 名称: ROUGE-2 已验证: 是验证令牌: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiN2M0MTE2YTE5NmE1NjhkMGM0ZjYxMzJiOTFjZGNmOTdlZWFhOTExZTAzOGUyOWE4Yjg4MTE3NDcwZTg5ZDk0MCIsInZlcnNpb24iOjF9.6EeSA2FzddyK5EfHhBViKNDXIZp9svVTpvSi4O_9YULWX6Gs4bZYcGRQATGLS6Pfvh1swky1ZXXR5GpX4tN-Ag
  - 类型: rouge 值: 17.8685 名称: ROUGE-L 已验证: 是验证令牌: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiNTZmMWRhZmNmZDY5MzYzM2JhNDc5NzdiMWI3MmRlYWViZjA0NGQxZDJhNjIxZTY3ZTM2NTJjYjI0ODE5MGFlYiIsInZlcnNpb24iOjF9.Tz6vT3YFZO5Hd8BySoXmtcwDQMSvr4DLGvKYpTeH7L0iZOaIFr8XILCPbLV6ZxjglSgFwMzcwsjN1d032mEqBA
  - 类型: rouge 值: 33.5036 名称: ROUGE-LSUM 已验证: 是验证令牌: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiYzgzNGQyMTIxYWUwMDlkMjQwZDE5ZDRmYzczODJkZTIxOGE5MTEyZDNjYzMzZWFhMGUyMjljNDQ5NGQ4ZGRkOCIsInZlcnNpb24iOjF9.oR8vSpgDjMskRmcImHV4E5dkXbP74BKNYXmfpkpO5zIHIJWNNyJvUSKurDDy5rhbhbkI98kF5GmOcLlfghyrDA
  - 类型: 损失值: 3.628979444503784 名称: 损失已验证: 是验证令牌: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiMTNkY2E0Y2Q1YjA3Y2VhYTAyOGE1NmQyYWQ0YzM5NzczOTBkYThiYzNjMDljY2YzZGYzMGQ3NGQ5YzRhN2M5OCIsInZlcnNpb24iOjF9.kD1yDRyt6PR5wKBHvsU4l6stGmcsvPbkGB1dMgSfvMWV0LjjSc3MaXUS2ykNciLdnJK_aSqIjSUbUDyO0e4oDA
  - 类型: 生成长度值: 219.3885 名称: 生成长度已验证: 是验证令牌: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiYzI2MjIyZWViY2I0NTE0YWMxYTE3OTAyODdhOTNlZDZkOTIyMjQ1NzdkMmU5YTY5NmNjYTNkOGI0ODk4YzE2OSIsInZlcnNpb24iOjF9.sqlm-kWBzo-sJ4PaelnJWeQ1usF3nM5ZJP8igXE2GhWNhAQVsST3tlvcA8GwRtfbVCAy_x7Ex9iOuYqpccdbDA