🚀 gte-en-mlm-large

我们推出了 GTE-v1.5 系列，这是全新的通用文本编码器、嵌入和重排序模型，其上下文长度可达 8192。这些模型基于 Transformer++ 编码器骨干架构（BERT + RoPE + GLU，代码参考 Alibaba-NLP/new-impl）以及 bert-base-uncased 的词汇表构建。

此文本编码器是我们 论文 表 13 中的 GTEv1.5-en-MLM-large-8192。

• 开发者：阿里巴巴集团智能计算研究所
• 模型类型：文本编码器
• 论文：mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval

🚀 快速开始

本项目介绍了 GTE-v1.5 系列模型，它具有长上下文处理能力，适用于文本编码、嵌入和重排序等任务。

✨ 主要特性

• 上下文长度可达 8192，能处理长文本。
• 基于 Transformer++ 编码器骨干架构，结合了 BERT、RoPE 和 GLU。
• 使用 bert-base-uncased 的词汇表。

📚 详细文档

模型列表

训练详情

训练数据

• 掩码语言模型（MLM）：c4-en

训练过程

为使骨干模型支持 8192 的上下文长度，我们采用了多阶段训练策略。模型首先在较短长度上进行初步的 MLM 预训练，然后重新采样数据，减少短文本的比例，并继续进行 MLM 预训练。

整个训练过程如下：

• MLM - 512：学习率 2e - 4，掩码概率 0.3，批量大小 4096，步数 300000，RoPE 基数 10000
• MLM - 2048：学习率 5e - 5，掩码概率 0.3，批量大小 4096，步数 30000，RoPE 基数 10000
• MLM - 8192：学习率 5e - 5，掩码概率 0.3，批量大小 1024，步数 30000，RoPE 基数 160000

评估

引用

如果您认为我们的论文或模型有帮助，请考虑按以下方式引用：

@misc{zhang2024mgte,
  title={mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval}, 
  author={Xin Zhang and Yanzhao Zhang and Dingkun Long and Wen Xie and Ziqi Dai and Jialong Tang and Huan Lin and Baosong Yang and Pengjun Xie and Fei Huang and Meishan Zhang and Wenjie Li and Min Zhang},
  year={2024},
  eprint={2407.19669},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  url={https://arxiv.org/abs/2407.19669}, 
}

📄 许可证

本项目采用 Apache - 2.0 许可证。