标签:

• 由训练器生成 许可证: mit 语言:
• 英语 基础模型: mistralai/Mistral-7B-v0.1

RankZephyr 7B V1 - Full 模型卡片

RankZephyr 是一系列基于 Zephyr-7B-β 模型训练的语言模型，旨在作为有用的重排序助手。 RankZephyr Base 是在 RankGPT-3.5 模型上进行单阶段微调的模型，而 RankZephyr Full 则进一步在 RankGPT-4 对 OpenAI 的 Ada2 排序的 5K 查询重排序数据上进行了微调。

模型描述

• 模型类型: 一个 70 亿参数的类 GPT 模型，最初在公开可用的合成数据集混合上进行微调，随后针对特定任务的列表式重排序数据进行了调整。
• 语言 (NLP): 主要为英语
• 许可证: MIT
• 微调基础模型: HuggingFaceH4/zephyr-7b-beta

模型来源

• 代码库: https://github.com/castorini/rank_llm
• 论文: https://arxiv.org/abs/2312.02724

效果

发布时，RankZephyr-7B-Full 在 DL19/20/21/22、TREC-COVID 和 TREC-News 等多个数据集上是先进的开源重排序模型。

使用 MS MARCO v1 集合:

更多详情请参阅论文。

预期用途与限制

该模型需与 RankLLM 代码库 结合使用。虽然 rank-llm 已作为 PyPI 包发布，但我们目前处于早期开发阶段，鼓励用户直接从源代码安装。

原始的 Zephyr 模型是为聊天而训练的。在我们的案例中，RankZephyr 被微调为列表式重排序代理。您提供查询和文档，它将返回重新排序后的文档标识符列表。

偏见、风险与限制

以下内容摘自 Zephyr-7B-β 模型卡片:

Zephyr-7B-β 在 RLHF 阶段未针对人类安全偏好进行对齐，也未像 ChatGPT 那样部署响应循环过滤，因此模型可能产生有问题的输出（尤其是在被提示这样做时）。基础模型 (mistralai/Mistral-7B-v0.1) 的训练语料库的大小和组成尚不清楚，但可能包括网络数据和技术来源（如书籍和代码）的混合。有关示例，请参阅 Falcon 180B 模型卡片。

我们的模型专门针对单语英语数据进行训练，对多语言集的效果无法保证。

引用

如果您发现 RankZephyr 对您的工作有帮助，请引用以下论文:

@ARTICLE{pradeep2023rankzephyr,
  title   = {{RankZephyr}: Effective and Robust Zero-Shot Listwise Reranking is a Breeze!},
  author  = {Ronak Pradeep and Sahel Sharifymoghaddam and Jimmy Lin},
  year    = {2023},
  journal = {arXiv:2312.02724}
}