🚀 RankZephyr 7B V1 - Full

RankZephyr是一系列基于Zephyr - 7B - β模型训练的语言模型，旨在作为实用的重排序助手。RankZephyr Base是在RankGPT - 3.5模型上进行单阶段微调的模型，而RankZephyr Full则是在OpenAI的Ada2对5K查询的排序基础上，进一步根据RankGPT - 4的重排序进行微调的模型。

🚀 快速开始

RankZephyr模型可结合 RankLLM仓库 使用。虽然 rank - llm 已作为PyPI包存在，但目前仍处于开发早期阶段，建议用户直接从源代码安装。

✨ 主要特性

• 先进性能：在发布时，RankZephyr - 7B - Full是在DL19/20/21/22、TREC - COVID和TREC - News等各种数据集上最先进的开源重排序模型。
• 特定微调：基于Zephyr - 7B - β模型，针对列表式重排序任务进行了特定微调。

📦 安装指南

当前建议直接从源代码安装，可参考 RankLLM仓库 进行操作。

📚 详细文档

模型描述

模型来源

• 仓库：https://github.com/castorini/rank_llm
• 论文：https://arxiv.org/abs/2312.02724

有效性

在MS MARCO v1集合上的表现如下：

更多详细信息可查看相关论文。

预期用途与限制

原始的Zephyr模型是为聊天场景训练的，而RankZephyr经过微调后作为列表式重排序代理。用户提供查询和文档，模型将返回重新排序后的文档标识符列表。不过，该模型是专门在单语种英语数据上训练的，在多语言数据集上的效果无法保证。

偏差、风险和限制

以下内容节选自 [Zephyr - 7B - β模型卡片](https://huggingface.co/HuggingFaceH4/zephyr - 7b - beta/blob/main/README.md#bias - risks--limitations)：

⚠️ 重要提示

Zephyr - 7B - β在基于人类偏好的强化学习微调（RLHF）阶段未进行安全对齐，也未像ChatGPT那样在运行时对回复进行过滤，因此模型可能会产生有问题的输出（特别是在受到特定提示时）。此外，目前尚不清楚训练基础模型（mistralai/Mistral - 7B - v0.1）所用语料库的规模和组成，但很可能包含了网络数据以及书籍和代码等技术来源。可参考 [Falcon 180B模型卡片](https://huggingface.co/tiiuae/falcon - 180B#training - data) 了解相关示例。

引用

如果您发现RankZephyr在您的工作中很有用，请引用以下论文：

@ARTICLE{pradeep2023rankzephyr,
  title   = {{RankZephyr}: Effective and Robust Zero - Shot Listwise Reranking is a Breeze!},
  author  = {Ronak Pradeep and Sahel Sharifymoghaddam and Jimmy Lin},
  year    = {2023},
  journal = {arXiv:2312.02724}
}