量化方：Nomic
流水线标签：句子相似度
基础模型：nomic-ai/nomic-embed-text-v2-moe
基础模型关系：量化版本
标签：

• 句子相似度
• 特征提取
  许可证：Apache-2.0
  支持语言：
• 英语、西班牙语、法语、德语、意大利语、葡萄牙语、波兰语、荷兰语、土耳其语、日语、越南语、俄语、印尼语、阿拉伯语、捷克语、罗马尼亚语、瑞典语、希腊语、乌克兰语、中文、匈牙利语、丹麦语、挪威语、印地语、芬兰语、保加利亚语、韩语、斯洛伐克语、泰语、希伯来语、加泰罗尼亚语、立陶宛语、波斯语、马来语、斯洛文尼亚语、拉脱维亚语、马拉地语、孟加拉语、阿尔巴尼亚语、威尔士语、白俄罗斯语、马拉雅拉姆语、卡纳达语、马其顿语、乌尔都语、弗里斯兰语、泰卢固语、巴斯克语、斯瓦希里语、索马里语、信德语、乌兹别克语、科西嘉语、克罗地亚语、古吉拉特语、车臣语、世界语、爪哇语、拉丁语、祖鲁语、蒙古语、僧伽罗语、爱尔兰语、吉尔吉斯语、塔吉克语、缅甸语、高棉语、马尔加什语、旁遮普语、修纳语、豪萨语、海地克里奥尔语、巽他语、苏格兰盖尔语、齐切瓦语、普什图语、库尔德语、阿姆哈拉语、伊博语、老挝语、毛利语、挪威尼诺斯克语、萨摩亚语、意第绪语、南索托语、他加禄语、科萨语、约鲁巴语、南非荷兰语、泰米尔语、茨瓦纳语、维吾尔语、阿塞拜疆语、巴什基尔语、波斯尼亚语、迪维希语、爱沙尼亚语、加利西亚语、瓜拉尼语、曼克斯语、亚美尼亚语

nomic-embed-text-v2-moe的Llama.cpp量化版本：多语言专家混合文本嵌入模型

博客 | 技术报告 | AWS SageMaker | Atlas嵌入与非结构化数据分析平台

该模型源自论文《训练稀疏专家混合文本嵌入模型》。

使用llama.cpp提交版本e3a9421b7进行量化。

原始模型：nomic-embed-text-v2-moe

使用说明

本模型可通过llama.cpp服务器及其他支持llama.cpp嵌入模型的软件使用。

使用nomic-embed-text生成文本嵌入时，需在每个字符串开头添加任务指令前缀。

例如，以下代码展示如何在RAG应用中使用search_query前缀嵌入用户问题：

启动llama.cpp服务器：

llama-server -m nomic-embed-text-v2-moe.bf16.gguf --embeddings

运行以下代码：

import requests

def dot(va, vb):
    return sum(a * b for a, b in zip(va, vb))

def embed(texts):
    resp = requests.post('http://localhost:8080/v1/embeddings', json={'input': texts}).json()
    return [d['embedding'] for d in resp['data']]

docs = ['嵌入很酷', '骆驼很酷']  # 中文示例：'embeddings are cool', 'llamas are cool'
docs_embed = embed(['search_document: ' + d for d in docs])

query = '跟我讲讲嵌入'  # 'tell me about embeddings'
query_embed = embed(['search_query: ' + query])[0]
print(f'query: {query!r}')
for d, e in zip(docs, docs_embed):
    print(f'similarity {dot(query_embed, e):.2f}: {d!r}')

预期输出类似：

query: '跟我讲讲嵌入'
similarity 0.48: '嵌入很酷'
similarity 0.19: '骆驼很酷'

文件下载（非完整分支）

模型概览

nomic-embed-text-v2-moe是领先的多语言MoE文本嵌入模型：

• 高性能：在~3亿参数模型中表现最佳，媲美两倍大小模型
• 多语言：支持约100种语言，训练数据超16亿对
• 灵活维度：采用套娃嵌入技术，存储需求降低3倍
• 完全开源：公开模型权重、代码及训练数据

架构特性

• 总参数量：4.75亿
• 推理激活参数：3.05亿
• 专家配置：8专家top-2路由
• 最大序列长度：512词元

论文摘要

通过引入专家混合架构，Nomic Embed v2在保持参数效率的同时，在单语和多语言基准测试中超越同类模型。相关资源已开源。

性能表现

最佳实践

• 查询前缀："search_query: "
• 文档前缀："search_document: "
• 256维度可平衡效率与性能

限制说明

• 需使用trust_remote_code=True加载自定义架构

训练详情

加入社区

• Discord：点击加入
• Twitter：@nomic_ai

引用

@misc{nussbaum2025trainingsparsemixtureexperts,
      title={Training Sparse Mixture Of Experts Text Embedding Models},
      author={Zach Nussbaum and Brandon Duderstadt},
      year={2025},
      eprint={2502.07972},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2502.07972},
}