语言: 波斯语
标签:

• 摘要生成
• mt5模型
  任务类型: 摘要生成
  数据集:
• pn_summary

示例输入:
"鲍勃·奥登科克，这位58岁的美国演员以1980年代末喜剧编剧身份出道，因参演《绝命毒师》而声名鹊起。近期他主演的动作片引发了媒体空前关注。1987年他作为《周六夜现场》编剧开启职业生涯，期间兼顾小角色演出。1990年代在《本·斯蒂勒秀》同时担任编剧和演员，展现了表演抱负。其电视喜剧巅峰是《鲍勃与大卫的秀》，虽然后续在《宋飞正传》《老爸老妈的浪漫史》等剧中仅饰演小角色。2009年加入《绝命毒师》饰演腐败律师索尔·古德曼成为其职业转折点，该角色为衍生剧《风骚律师》的主演铺平道路，这可能是他演艺生涯最重要的角色。"

基于pnSummary数据集训练的mT5-small摘要生成模型。

评估结果

下表展示了模型在验证集上的ROUGE得分表现：

+-----------+------+-----------+--------+-----------+
|   指标    | 类型 |  精确率   | 召回率 | F1值      |
+-----------+------+-----------+--------+-----------+
|  rouge1   | 低   |   45.13   | 42.92  |   42.52   |
|  rouge1   | 中   |   45.67   | 43.47  |   43.04   |
|  rouge1   | 高   |   46.26   | 44.04  |   43.57   |
|           |      |           |        |           |
|    ***    | ***  |    ***    |  ***   |    ***    |
|           |      |           |        |           |
|  rouge2   | 低   |   26.08   | 24.73  |   24.56   |
|  rouge2   | 中   |   26.65   | 25.29  |   25.10   |
|  rouge2   | 高   |   27.25   | 25.84  |   25.63   |
|           |      |           |        |           |
|    ***    | ***  |    ***    |  ***   |    ***    |
|           |      |           |        |           |
|  rougeL   | 低   |   38.72   | 36.86  |   36.55   |
|  rougeL   | 中   |   39.28   | 37.38  |   37.05   |
|  rougeL   | 高   |   39.86   | 37.96  |   37.60   |
|           |      |           |        |           |
|    ***    | ***  |    ***    |  ***   |    ***    |
|           |      |           |        |           |
| rougeLsum | 低   |   38.67   | 36.80  |   36.50   |
| rougeLsum | 中   |   39.25   | 37.36  |   37.02   |
| rougeLsum | 高   |   39.88   | 37.94  |   37.59   |
+-----------+------+-----------+--------+-----------+

测试结果

下表展示了模型在测试集上的ROUGE得分表现：

+-----------+------+-----------+--------+-----------+
|   指标    | 类型 |  精确率   | 召回率 | F1值      |
+-----------+------+-----------+--------+-----------+
|  rouge1   | 低   |   45.09   | 42.67  |   42.43   |
|  rouge1   | 中   |   45.63   | 43.19  |   42.87   |
|  rouge1   | 高   |   46.20   | 43.78  |   43.40   |
|           |      |           |        |           |
|    ***    | ***  |    ***    |  ***   |    ***    |
|           |      |           |        |           |
|  rouge2   | 低   |   26.10   | 24.57  |   24.49   |
|  rouge2   | 中   |   26.68   | 25.13  |   25.04   |
|  rouge2   | 高   |   27.30   | 25.73  |   25.63   |
|           |      |           |        |           |
|    ***    | ***  |    ***    |  ***   |    ***    |
|           |      |           |        |           |
|  rougeL   | 低   |   38.60   | 36.49  |   36.29   |
|  rougeL   | 中   |   39.15   | 37.06  |   36.82   |
|  rougeL   | 高   |   39.75   | 37.63  |   37.37   |
|           |      |           |        |           |
|    ***    | ***  |    ***    |  ***   |    ***    |
|           |      |           |        |           |
| rougeLsum | 低   |   38.57   | 36.49  |   36.27   |
| rougeLsum | 中   |   39.15   | 37.07  |   36.82   |
| rougeLsum | 高   |   39.76   | 37.56  |   37.36   |
+-----------+------+-----------+--------+-----------+