语言:

• 荷兰语 许可证: Apache-2.0 标签:
• 摘要生成
• T5模型
• 序列到序列 数据集:
• yhavinga/mc4_nl_cleaned（荷兰语mC4清洗版）
• ml6team/cnn_dailymail_nl（荷兰语CNN每日邮报） 任务标签: 摘要生成 示例输入:
• 文本: '阿姆斯特丹梵高博物馆近日宣布以140万欧元购得美国印象派艺术家玛丽·卡萨特（与梵高同时代）的四幅珍贵版画，包括三幅大型彩色蚀刻和一幅黑白石版画，描绘女性主题。资金由三大基金会和私人捐赠共同支持。卡萨特（1844-1926）长期旅居法国，其印象派作品被视为19世纪末巴黎艺术界的革新力量。博物馆评价这些版画为"世纪末平面艺术中最精美的创作"。其中三幅彩蚀作品《跨越》《书信》《沐浴女子》出自她1890年受巴黎日本版画展启发后创作的十联系列，该系列奠定了她的艺术地位。她在给印象派友人莫里索的信中盛赞日本版画："若想做彩色版画，没有比这更完美的灵感了。"'
• 文本: '上周六汤加海底火山剧烈喷发，导致洪加汤加与洪加哈派两岛重新分离。喷发前数公里长的连接陆桥已坍塌入海。此次持续8分钟的喷发释放的火山灰和二氧化硫等有毒气体高达30公里，影响范围达500公里（对比拉帕尔马火山喷发仅5公里）。65公里外的汤加首都覆盖厚灰层，饮用水安全受威胁。喷发引发的海啸波及新西兰至美国，荷兰气压骤升。乌得勒支大学专家解释：汤加位于太平洋板块俯冲带，下沉板块携带的水分与岩浆混合产生剧烈蒸汽爆炸，其威力"如同摇晃后的可乐瓶"。但地质学家预计此次喷发不会像历史大型火山事件导致全球长期降温。'

模型索引:

• 名称: yhavinga/t5-v1.1-base-dutch-cnn-test 结果:
  • 任务: 摘要生成 数据集: ml6team/cnn_dailymail_nl 指标:
    • ROUGE-1: 38.5454
    • ROUGE-2: 15.7133
    • ROUGE-L: 25.9162
    • ROUGE-LSUM: 35.4489
    • 损失值: 2.0728
    • 生成长度: 91.1699

专用于荷兰语CNN新闻摘要的T5 v1.1基础模型 🇳🇱

本模型是在yhavinga/t5-v1.1-base-dutch-cased基础上，针对荷兰语CNN每日邮报微调的摘要模型。

关键信息

Tokenizer
使用Huggingface Transformers的Flax示例脚本，基于清洗后的荷兰语mC4数据从头训练的SentencePiece分词器。

数据集
使用390亿token规模的荷兰语mC4清洗版，该数据集：

• 过滤包含脏词的文档
• 移除短句（<3词）和超长词句（>1000字符）
• 剔除低质量文档（如含"javascript""隐私政策"等关键词）

模型对比
最佳模型为yhavinga/t5-v1.1-base-dutch-cased，其特点：

• 基于t5-v1.1架构
• 荷兰语专训
• 无大小写区分
• 训练准确率0.78（损失值0.96）
• 采用1024序列长度，adafactor优化器

微调表现
在CNN摘要任务中：

• 基础版：ROUGE-L 25.2（生成长度79词）
• 大型版：ROUGE-L 25.3（生成长度81词）

致谢

项目依托Google TPU研究云计划提供的算力支持，并受益于HuggingFace生态和以下关键资源：

• Gsarti的T5+Flax+GCP训练指南
• HuggingFace Flax语言模型示例
• Flax社区周荷兰语T5基础模型

开发者：Yeb Havinga