模型卡片：GIST大尺寸嵌入模型v0

模型名称

GIST大尺寸嵌入模型v0
GISTEmbed: 文本嵌入微调中的训练负样本引导式样本内选择

模型基础

本模型基于BAAI/bge-large-en-v1.5微调，结合MEDI数据集与MTEB分类任务训练集的挖掘三元组（不含亚马逊极性分类数据）。

核心特点

• 无需指令：直接编码检索查询，无需构造提示模板。
• 技术论文：《GISTEmbed: 文本嵌入微调中的训练负样本引导式样本内选择》

数据说明

训练数据

• 组成：MEDI数据集 + MTEB分类训练集（第三方数据遵循原始许可协议）
• 数据集版本：avsolatorio/medi-data-mteb_avs_triplets（修订版238a049）
• 数据标识：通过task_type键可筛选MTEB分类任务（前缀mteb_）

相关研究

• MEDI数据集论文：《One Embedder, Any Task: Instruction-Finetuned Text Embeddings》
• 性能观察：微调显著提升部分任务表现，但可能导致特定领域（如COVID-19相关检索）性能下降

使用示例

import torch.nn.functional as F
from sentence_transformers import SentenceTransformer

# 加载模型（建议指定版本以确保可复现性）
model = SentenceTransformer("avsolatorio/GIST-large-Embedding-v0", revision=None)

texts = [
    "REaLTabFormer模型示意图。左块展示使用GPT-2因果语言模型头的非关系型表格数据建模，右块展示如何通过序列到序列模型处理关系型子表数据。",
    "GeoFormer模型基于GPT架构改进，专用于预测人类移动模式，应用涵盖灾害规划与流行病模拟。",
    "东南亚数字化转型中，政策制定者亟需了解劳动力技能适配需求，但相关研究仍显不足。"
]

# 生成嵌入向量
embeddings = model.encode(texts, convert_to_tensor=True)

# 计算余弦相似度矩阵
scores = F.cosine_similarity(embeddings.unsqueeze(1), embeddings.unsqueeze(0), dim=-1)
print(scores.cpu().numpy())

训练参数

评估结果

模型通过MTEB评估套件进行全面测试，性能对比显示：

• 多数检索任务显著提升
• 特定领域（如TRECCOVID）可能因训练数据主题覆盖不足而表现下降

引用规范

若使用本模型或相关数据，请引用：

@article{solatorio2024gistembed,
    title={GISTEmbed: Guided In-sample Selection of Training Negatives for Text Embedding Fine-tuning},
    author={Aivin V. Solatorio},
    journal={arXiv preprint arXiv:2402.16829},
    year={2024},
    url={https://arxiv.org/abs/2402.16829},
    eprint={2402.16829},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

致谢

本项目由世界银行知识变革计划(KCP)资助（项目编号RA-P503405-RESE-TF0C3444）。

免责声明：本文档所述内容仅代表作者观点，不代表世界银行及其附属机构的官方立场。