语言:

• tr arXiv: 2403.01308 库名称: transformers 任务标签: 文本到文本生成 许可证: cc-by-nc-sa-4.0 推理: false 数据集:
• vngrs-ai/vngrs-web-corpus

VBART 模型卡

模型描述

VBART 是首个基于土耳其语语料库从头开始大规模预训练的序列到序列大型语言模型。该模型由 VNGRS 于 2023 年 2 月完成预训练。
经过微调后，该模型能够执行条件文本生成任务，如文本摘要、改写和标题生成。尽管其规模远小于其他实现版本，但其性能优于多语言同类模型。

本仓库包含 VBART-Small-Base 的预训练 TensorFlow 和 Safetensors 权重。

• 开发团队: VNGRS-AI
• 模型类型: 基于 mBART 架构的 Transformer 编码器-解码器
• 支持语言 (NLP): 土耳其语
• 许可证: CC BY-NC-SA 4.0
• 论文: arXiv

训练详情

训练数据

基础模型在 vngrs-web-corpus 上进行预训练。该数据集通过清理和过滤 OSCAR-2201 和 mC4 数据集的土耳其语部分构建而成，包含非结构化网络爬取文档。更多数据集信息可参阅其页面。数据通过一系列启发式方法和特定规则进行过滤，具体说明见我们论文的附录。

局限性

本模型为预训练基础模型，具备掩码语言建模能力。其主要用途是作为基础模型，供下游任务进行微调。

训练过程

预训练总规模达 520 亿标记。

硬件

• GPU: 8 块 Nvidia A100-80 GB

软件

• TensorFlow

超参数

预训练

• 训练模式: fp16 混合精度
• 训练目标: 跨度掩码（使用泊松分布 λ=3.5 采样掩码长度，掩码 30% 的标记）
• 优化器: Adam 优化器（β1 = 0.9，β2 = 0.98，Ɛ = 1e-6）
• 调度器: 原始 Transformer 论文中的自定义调度器（20,000 步预热）
• Dropout: 0.1
• 初始学习率: 5e-6
• 训练标记数: 520 亿

引用

@article{turker2024vbart,
  title={VBART: 土耳其语大型语言模型},
  author={Turker, Meliksah and Ari, Erdi and Han, Aydin},
  journal={arXiv 预印本 arXiv:2403.01308},
  year={2024}
}