语言: 波斯语
标签:

• 摘要生成
• mt5模型
  任务类型: 摘要生成
  数据集:
• pn_summary
  示例输入:
  • 文本: "58岁的美国演员鲍勃·奥登科克以1980年代末喜剧编剧身份出道，因参演《绝命毒师》获得广泛声誉，近期又以动作片主角身份引发媒体空前关注。奥登科克1987年以《周六夜现场》编剧开启职业生涯，期间兼顾小角色演出。1990年代他同时在《本·斯蒂勒秀》担任编剧和演员，展现了表演野心。其电视喜剧巅峰作为《鲍勃与大卫的脱口秀》，但仍在《宋飞正传》《老爸老妈的浪漫史》等剧中出演配角。2009年加入《绝命毒师》饰演腐败律师索尔·古德曼成为其职业转折点，该角色为衍生剧《风骚律师》的主演铺平道路，这可能是奥登科克演艺生涯最重要的角色。"

基于pnSummary数据集训练的mT5-base摘要生成模型。

验证集评估结果

下表展示了模型在验证集上的ROUGE得分情况：

+-----------+------+-----------+--------+-----------+
|   指标    | 类型 |  精确率   | 召回率 | F1值      |
+-----------+------+-----------+--------+-----------+
|  rouge1   | 低   |   48.60   | 45.25  |   45.47   |
|  rouge1   | 中   |   49.22   | 45.79  |   46.02   |
|  rouge1   | 高   |   49.80   | 46.36  |   46.54   |
|           |      |           |        |           |
|    ***    | ***  |    ***    |  ***   |    ***    |
|           |      |           |        |           |
|  rouge2   | 低   |   29.46   | 27.33  |   27.56   |
|  rouge2   | 中   |   30.08   | 27.93  |   28.12   |
|  rouge2   | 高   |   30.69   | 28.52  |   28.71   |
|           |      |           |        |           |
|    ***    | ***  |    ***    |  ***   |    ***    |
|           |      |           |        |           |
|  rougeL   | 低   |   42.20   | 39.26  |   39.51   |
|  rougeL   | 中   |   42.80   | 39.86  |   40.07   |
|  rougeL   | 高   |   43.43   | 40.41  |   40.62   |
|           |      |           |        |           |
|    ***    | ***  |    ***    |  ***   |    ***    |
|           |      |           |        |           |
| rougeLsum | 低   |   42.15   | 39.26  |   39.48   |
| rougeLsum | 中   |   42.82   | 39.87  |   40.09   |
| rougeLsum | 高   |   43.39   | 40.43  |   40.61   |
+-----------+------+-----------+--------+-----------+

测试集评估结果

下表展示了模型在测试集上的ROUGE得分情况：

+-----------+------+-----------+--------+-----------+
|   指标    | 类型 |  精确率   | 召回率 | F1值      |
+-----------+------+-----------+--------+-----------+
|  rouge1   | 低   |   48.83   | 44.99  |   45.41   |
|  rouge1   | 中   |   49.39   | 45.52  |   45.91   |
|  rouge1   | 高   |   50.02   | 46.07  |   46.48   |
|           |      |           |        |           |
|    ***    | ***  |    ***    |  ***   |    ***    |
|           |      |           |        |           |
|  rouge2   | 低   |   29.27   | 26.90  |   27.23   |
|  rouge2   | 中   |   29.97   | 27.52  |   27.84   |
|  rouge2   | 高   |   30.62   | 28.15  |   28.46   |
|           |      |           |        |           |
|    ***    | ***  |    ***    |  ***   |    ***    |
|           |      |           |        |           |
|  rougeL   | 低   |   42.30   | 38.94  |   39.34   |
|  rougeL   | 中   |   42.85   | 39.54  |   39.90   |
|  rougeL   | 高   |   43.51   | 40.12  |   40.49   |
|           |      |           |        |           |
|    ***    | ***  |    ***    |  ***   |    ***    |
|           |      |           |        |           |
| rougeLsum | 低   |   42.27   | 38.94  |   39.35   |
| rougeLsum | 中   |   42.86   | 39.53  |   39.90   |
| rougeLsum | 高   |   43.42   | 40.12  |   40.45   |
+-----------+------+-----------+--------+-----------+