语言:

• tr arXiv: 2403.01308 库名称: transformers 任务标签: 文本到文本生成 许可证: cc-by-nc-sa-4.0 推理: false 数据集:
• vngrs-ai/vngrs-web-corpus

VBART 模型卡

模型描述

VBART 是首个基于土耳其语语料库从头开始大规模预训练的序列到序列大型语言模型。该模型由 VNGRS 于 2023 年 2 月完成预训练。
经过微调后，该模型能够执行条件文本生成任务，如文本摘要、改写和标题生成。尽管其规模远小于其他实现版本，但其性能优于多语言同类模型。

本仓库包含 VBART-Medium-Base 的预训练 TensorFlow 和 Safetensors 权重。

• 开发团队: VNGRS-AI
• 模型类型: 基于 mBART 架构的 Transformer 编码器-解码器
• 支持语言 (NLP): 土耳其语
• 许可证: CC BY-NC-SA 4.0
• 论文: arXiv

训练详情

训练数据

基础模型在 vngrs-web-corpus 数据集上预训练。该数据集通过清理和过滤 OSCAR-2201 和 mC4 数据集的土耳其语部分构建而成，包含非结构化网络爬取文档。更多数据集信息请参阅其页面。数据采用启发式规则集进行过滤，具体规则详见我们论文的附录。

局限性

本模型为预训练基础模型，仅具备掩码语言建模能力，旨在作为下游任务微调的基础模型。

训练过程

预训练总token量达630亿。

硬件配置

• GPU: 8块Nvidia A100-80GB

软件环境

• TensorFlow

超参数

预训练阶段

• 训练模式: fp16混合精度
• 训练目标: 跨度掩码（采用λ=3.5的泊松分布采样掩码长度，30%的token被掩码）
• 优化器: Adam优化器（β1=0.9，β2=0.98，Ɛ=1e-6）
• 调度器: 原始Transformer论文中的定制调度器（20,000步预热）
• Dropout率: 0.1
• 初始学习率: 5e-6
• 训练token量: 630亿

引用文献

@article{turker2024vbart,
  title={VBART: 土耳其语大语言模型},
  author={Turker, Meliksah and Ari, Erdi and Han, Aydin},
  journal={arXiv预印本 arXiv:2403.01308},
  year={2024}
}