AIbase

G

Gte En Mlm Base

由 Alibaba-NLP 开发
GTE-v1.5系列中的英语文本编码器，基于BERT架构改进，支持长达8192的上下文长度，适用于英语文本表示任务。
文本嵌入
Safetensors
支持多种语言
开源协议:Apache-2.0#长文本编码#英语专用#RoPE增强
下载量 231
发布时间 : 8/6/2024
模型介绍
内容详情
替代品

模型简介

该模型是GTE-v1.5系列的英语文本编码器，基于transformer++编码器架构（BERT + RoPE + GLU），专为英语文本表示设计，支持长上下文处理。

模型特点

长上下文支持
支持长达8192的上下文长度，适合处理长文档和复杂文本。
改进的架构
基于BERT架构改进，加入了RoPE和GLU，提升了模型性能。
分阶段训练
采用分阶段训练策略，先在短序列上预训练，再在长序列上微调，优化长文本处理能力。

模型能力

文本编码
长文本处理
掩码语言建模

使用案例

信息检索
文档检索
用于长文档的检索和匹配，提升检索系统的准确性。
自然语言处理
文本表示
生成高质量的文本嵌入，用于下游NLP任务。