许可证: apache-2.0 数据集:

• oscar
• mc4 语言:
• tr 任务标签: 文本生成 示例:
• 文本: "我的名字叫Zeynep，我最喜欢的书是:" 示例标题: "我的名字叫Zeynep"
• 文本: "今天的晚餐" 示例标题: "今天的晚餐"

金丝雀-750M：土耳其语大模型

金丝雀是一个预训练的土耳其语GPT-J 750M模型。作为土耳其数据仓库计划的一部分，金丝雀系列包含两个版本（金丝雀-2B，金丝雀-0.7B）。金丝雀-2B是较大版本，金丝雀-0.7B是较小版本。两个模型均在从OSCAR和mC4数据集中筛选的大规模土耳其语文本语料库上训练。训练数据收集自新闻、文章和网站等多种来源，以构建多样化和高质量的语料库。模型使用基于JAX/Flax实现的GPT-J架构进行训练。这些模型仅经过预训练，旨在针对广泛的土耳其语NLP任务进行微调。

模型详情

• 模型名称: 金丝雀-750M
• 模型规模: 7.5亿参数
• 训练数据: OSCAR, mC4
• 语言: 土耳其语
• 层数: 12
• 隐藏层维度: 2048
• 注意力头数: 16
• 上下文长度: 2048
• 位置编码: 旋转式
• 词表大小: 32,768

使用目的

本模型仅在土耳其语文本数据上进行了预训练，旨在针对广泛的土耳其语NLP任务进行微调。该模型可用于多种土耳其语NLP任务，包括文本生成、翻译、摘要及其他土耳其语NLP任务。未经微调，不建议直接用于任何下游任务。

局限性与伦理考量

虽然模型在多样化和高质量的土耳其语文本语料库上训练，但仍可能生成有害、偏见或不道德的内容。强烈建议负责任地使用该模型，并确保生成内容符合使用场景要求。请负责任地使用本模型并报告任何问题。

许可证: Apache 2.0

本模型采用Apache 2.0许可证授权。允许任何目的（包括商业用途）免费使用。我们鼓励用户对模型做出贡献并报告问题。但模型按"原样"提供，不附带任何明示或暗示的担保。

引用

若使用本模型，请引用以下论文：

@inproceedings{safaya-etal-2022-mukayese,
    title = "Mukayese: {T}urkish {NLP} Strikes Back",
    author = "Safaya, Ali  and
      Kurtulu{\c{s}}, Emirhan  and
      Goktogan, Arda  and
      Yuret, Deniz",
    editor = "Muresan, Smaranda  and
      Nakov, Preslav  and
      Villavicencio, Aline",
    booktitle = "Findings of the Association for Computational Linguistics: ACL 2022",
    month = may,
    year = "2022",
    address = "Dublin, Ireland",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2022.findings-acl.69",
    doi = "10.18653/v1/2022.findings-acl.69",
    pages = "846--863",
}

致谢

本工作期间，Ali Safaya受到KUIS人工智能中心奖学金支持。此外，模型预训练使用了土耳其科学技术研究理事会ULAKBIM高性能网格计算中心(TRUBA)资源。