库名称：transformers 标签：[]

合并模型性能

本仓库包含我们合并的RAG相关性PEFT适配器模型的测试结果。

RAG相关性分类指标

我们的合并模型在二元分类任务中取得以下性能表现：

              精确率   召回率  F1值   支持数

           0    0.74     0.77    0.75     100
           1    0.76     0.73    0.74     100

    准确率                          0.75     200
    宏平均      0.75     0.75    0.75     200
加权平均      0.75     0.75    0.75     200

模型使用指南

为获得最佳效果，我们建议采用以下提示策略（并鼓励根据需求调整）：

def format_input_classification(query, text):
    input = f"""
      您正在将参考文本与问题进行比对，判断参考文本是否包含回答问题所需的相关信息。数据如下：
      [数据开始]
      ************
      [问题]: {query}
      ************
      [参考文本]: {text}
      ************
      [数据结束]
  请将上述问题与参考文本进行比对。您必须判断参考文本是否包含能回答该问题的信息。请重点关注该具体问题是否能通过参考文本中的信息得到解答。
  您的响应必须为单个单词，选择"relevant"（相关）或"unrelated"（无关），且不得包含该单词之外的任何文本或字符。
  "unrelated"表示参考文本不包含问题的答案。
  "relevant"表示参考文本包含问题的答案。"""
    return input


text = format_input_classification("什么是量化？",
  "量化是一种减少内存占用的方法")
messages = [
    {"role": "用户", "content": text}
]

pipe = pipeline(
    "文本生成",
    model=base_model,
    model_kwargs={"attn_implementation": attn_implementation, "torch_dtype": torch.float16},
    tokenizer=tokenizer,
)

与其他模型的对比

我们在RAG评估基准上将合并模型与多个先进语言模型进行了性能对比：

如表所示，我们的合并模型取得了0.75的可比分数，优于多个黑盒模型。

我们将持续改进和微调合并模型，以在各种基准测试和任务中实现更优性能。

引用文献： [1] https://docs.arize.com/phoenix/evaluation/how-to-evals/running-pre-tested-evals/retrieval-rag-relevance