许可证: 其他 语言:

• tr 库名称: transformers 管道标签: 文本到文本生成 推理: false 数据集:
• vngrs-ai/vngrs-web-corpus

TURNA模型卡

TURNA是一个基于UL2框架的土耳其语言模型，适用于理解和生成任务。

在土耳其语的三项生成和五项理解任务评估中，TURNA表现优于多个多语言模型，并在理解任务上与单语言土耳其模型竞争。

该模型公开共享，仅供非商业学术研究目的使用。

模型详情

• 36个编码器和解码器层
• 16个注意力头
• 词嵌入维度为1024
• 多层感知机层具有2816个隐藏维度，并采用门控GeLu激活函数
• 输入和分类层的参数不共享
• 11亿参数
• 使用了在10GB文本上训练的单字子词分词器，文本由OSCAR、OPUS和维基百科的随机子集组成
• 词汇量: 32000个标记 + 128个特殊标记

模型描述

• 开发方: 博阿齐奇大学计算机工程系TABILAB（特别感谢VNGRS-AI分享其分词器）
• 资助方: 我们感谢Google TPU研究云计划为我们提供在TPU v3-8机器上预训练模型的积分。感谢TETAM和BOUN CMPE提供用于微调和评估实验的GPU集群访问权限。

• 模型类型: 基于Transformer的编码器-解码器
• 语言 (NLP): 土耳其语
• 许可证: 该模型公开共享，仅供非商业学术研究目的使用。

模型来源

• 代码库: 训练代码, 微调库
• 论文: Arxiv论文

用途

直接使用

该模型可用于研究目的。您提供一些文本，该模型尝试预测接下来的词语。

下游使用

该模型可以使用我们的库进行微调，以解决涉及土耳其语的自定义任务。

该模型可以进一步训练，使其在对话用例中更有帮助、更少有害且表现更好。

超出范围的使用

任何商业或恶意活动。

偏见、风险和限制

我们参考Flan-T5的官方模型卡:

语言模型，包括Flan-T5，可能被用于有害的语言生成，根据Rae等人(2021)的研究。Flan-T5不应直接用于任何应用，而应在应用前评估特定应用的安全性和公平性问题。

伦理考量和风险

... (编者注: 模型)是在未过滤显式内容或评估现有偏见的大规模文本数据上微调的。因此，模型本身可能容易生成类似的不当内容或复制底层数据中的固有偏见。

已知限制

... (编者注: 模型)尚未在现实世界应用中进行测试。

敏感用途:

... (编者注: 模型)不应应用于任何不可接受的用例，例如生成侮辱性言论。

如何开始使用模型

您可以在我们库的Github页面找到技术指导。

训练详情

• 预训练采用混合去噪器(MoD)进行
• 此版本模型训练了1740000步
• 批量大小: 48
• 输入和输出长度: 512
• 有效接触427亿标记

更多信息请参阅论文。

评估

我们尚未以任何方式评估模型的偏见。

然而，我们对多项理解和生成任务进行了微调:

• 释义: TAT和OST(来源)
• 摘要和新闻标题生成: TRNews和MLSUM
• 命名实体识别: WikiANN和MilliyetNER
• 词性标注: 两个通用依存土耳其树库，IMST, BOUN.
• 语义文本相似性: STSb-tr
• 自然语言推理: NLI-TR
• 文本分类: 产品评论, TTC4900,和推文情感

更多信息请参阅论文。

环境影响

碳排放量可以使用Lacoste等人(2019)中提出的机器学习影响计算器进行估算。

• 硬件类型: TPU v3-8
• 使用小时数: 约400小时
• 云服务提供商: Google Cloud
• 计算区域: europe-west4-a
• 碳排放量: 64.52 kg CO2_2

技术规格

更多信息请参阅论文。

引用

BibTeX:

即将推出!

APA:

即将推出!

模型卡作者

论文作者。

模型卡联系方式

Onur Güngör