🚀 sabafallah/bge-reranker-base-Q4_K_M-GGUF
本项目是将模型转换为GGUF格式,原始模型为BAAI/bge-reranker-base
,借助llama.cpp通过ggml.ai的GGUF-my-repo空间完成转换。如需了解该模型的更多详细信息,请参考原始模型卡片。
📦 安装指南
使用brew安装llama.cpp(适用于Mac和Linux)
brew install llama.cpp
💻 使用示例
基础用法
使用命令行界面(CLI)
llama-cli --hf-repo sabafallah/bge-reranker-base-Q4_K_M-GGUF --hf-file bge-reranker-base-q4_k_m.gguf -p "The meaning to life and the universe is"
使用服务器
llama-server --hf-repo sabafallah/bge-reranker-base-Q4_K_M-GGUF --hf-file bge-reranker-base-q4_k_m.gguf -c 2048
高级用法
你也可以直接按照Llama.cpp仓库中列出的使用步骤来使用此检查点。
步骤1:从GitHub克隆llama.cpp
git clone https://github.com/ggerganov/llama.cpp
步骤2:进入llama.cpp文件夹并使用LLAMA_CURL=1
标志以及其他特定硬件标志进行编译(例如,在Linux上使用Nvidia GPU时使用LLAMA_CUDA=1
)
cd llama.cpp && LLAMA_CURL=1 make
步骤3:通过主二进制文件运行推理
./llama-cli --hf-repo sabafallah/bge-reranker-base-Q4_K_M-GGUF --hf-file bge-reranker-base-q4_k_m.gguf -p "The meaning to life and the universe is"
或者
./llama-server --hf-repo sabafallah/bge-reranker-base-Q4_K_M-GGUF --hf-file bge-reranker-base-q4_k_m.gguf -c 2048
📚 详细文档
模型信息
属性 |
详情 |
基础模型 |
BAAI/bge-reranker-base |
支持语言 |
英语、中文 |
库名称 |
sentence-transformers |
许可证 |
MIT |
任务类型 |
文本排序 |
标签 |
mteb、text-embeddings-inference、llama-cpp、gguf-my-repo |
模型评估结果
任务类型 |
数据集名称 |
数据集类型 |
数据集配置 |
数据集分割 |
评估指标 |
指标值 |
重排序 |
MTEB CMedQAv1 |
C-MTEB/CMedQAv1-reranking |
default |
test |
map |
81.27206722525007 |
重排序 |
MTEB CMedQAv1 |
C-MTEB/CMedQAv1-reranking |
default |
test |
mrr |
84.14238095238095 |
重排序 |
MTEB CMedQAv2 |
C-MTEB/CMedQAv2-reranking |
default |
test |
map |
84.10369934291236 |
重排序 |
MTEB CMedQAv2 |
C-MTEB/CMedQAv2-reranking |
default |
test |
mrr |
86.79376984126984 |
重排序 |
MTEB MMarcoReranking |
C-MTEB/Mmarco-reranking |
default |
dev |
map |
35.4600511272538 |
重排序 |
MTEB MMarcoReranking |
C-MTEB/Mmarco-reranking |
default |
dev |
mrr |
34.60238095238095 |
重排序 |
MTEB T2Reranking |
C-MTEB/T2Reranking |
default |
dev |
map |
67.27728847727172 |
重排序 |
MTEB T2Reranking |
C-MTEB/T2Reranking |
default |
dev |
mrr |
77.1315192743764 |
📄 许可证
本项目采用MIT许可证。