许可证：apache-2.0
数据集：

• allenai/c4
• wikimedia/wikipedia
• Skywork/SkyPile-150B
• uonlp/CulturaX

支持语言：

• 南非荷兰语、阿拉伯语、阿塞拜疆语、白俄罗斯语、保加利亚语、孟加拉语、加泰罗尼亚语、宿务语、捷克语、威尔士语
• 丹麦语、德语、希腊语、英语、西班牙语、爱沙尼亚语、巴斯克语、波斯语、芬兰语、法语
• 加利西亚语、古吉拉特语、希伯来语、印地语、克罗地亚语、海地克里奥尔语、匈牙利语、亚美尼亚语
• 印尼语、冰岛语、意大利语、日语、爪哇语、格鲁吉亚语、哈萨克语、高棉语、卡纳达语
• 韩语、吉尔吉斯语、老挝语、立陶宛语、拉脱维亚语、马其顿语、马拉雅拉姆语
• 蒙古语、马拉地语、马来语、缅甸语、尼泊尔语、荷兰语、挪威语
• 旁遮普语、波兰语、葡萄牙语、克丘亚语、罗马尼亚语、俄语
• 僧伽罗语、斯洛伐克语、斯洛文尼亚语、索马里语、阿尔巴尼亚语、塞尔维亚语
• 瑞典语、斯瓦希里语、泰米尔语、泰卢固语、泰语、他加禄语
• 土耳其语、乌克兰语、乌尔都语、越南语、约鲁巴语、中文

任务标签：填充掩码

gte-multilingual-mlm-base

我们推出mGTE系列——新型通用文本编码器、嵌入和重排序模型，支持75种语言，上下文长度最高达8192。该模型基于transformer++编码器架构（BERT + RoPE + GLU，代码参考Alibaba-NLP/new-impl），并采用XLM-R的词表。

本文本编码器（即我们论文中的mGTE-MLM-8192）在GLUE和XTREME-R基准上均超越同规模的前沿模型XLM-R-base。

• 开发机构：阿里巴巴集团智能计算研究院
• 模型类型：文本编码器
• 论文：mGTE：面向多语言检索的广义长上下文文本表示与重排序模型

模型列表

训练详情

训练数据

• 掩码语言建模(MLM)：c4-en、mc4、skypile、Wikipedia、CulturaX等（详见论文附录A.1）

训练流程

为支持8192的上下文长度，我们采用多阶段训练策略：模型先在较短序列上进行初步MLM预训练，随后调整数据采样策略降低短文本比例，继续MLM预训练。

具体训练参数：

• MLM-2048阶段：学习率2e-4，掩码概率0.3，批大小8192，步数25万，RoPE基数10000
• MLM-8192阶段：学习率5e-5，掩码概率0.3，批大小2048，步数3万，RoPE基数160000

性能评估

引用

若我们的论文或模型对您有所帮助，请参考以下引用：

@misc{zhang2024mgtegeneralizedlongcontexttext,
  title={mGTE: 面向多语言检索的广义长上下文文本表示与重排序模型}, 
  author={张鑫 and 张彦钊 and 龙定坤 and 谢文 and 戴子琪 and 唐佳隆 and 林欢 and 杨宝松 and 谢鹏君 and 黄非 and 张美珊 and 李文捷 and 张敏},
  year={2024},
  eprint={2407.19669},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  url={https://arxiv.org/abs/2407.19669}, 
}