C

Colbertv2.0 GGUF

由 mradermacher 开发
ColBERTv2.0的静态量化版本,基于lightonai/colbertv2.0模型,提供多种量化选项
下载量 172
发布时间 : 3/3/2025
模型介绍
内容详情
替代品

模型简介

这是一个基于ColBERT架构的句子转换器模型,主要用于句子相似度计算和特征提取任务。

模型特点

多种量化选项
提供从Q2_K到Q8_0共11种不同量化级别的模型文件
高效推理
量化后的模型文件大小在0.2-0.3GB之间,适合资源受限环境
高质量量化
包含IQ4_XS等新型量化方法,以及Q6_K等高质量量化选项

模型能力

句子向量表示
语义相似度计算
文本特征提取

使用案例

信息检索
文档检索
通过计算查询与文档的语义相似度实现高效检索
问答系统
答案段落匹配
在问答系统中匹配问题与候选答案段落