推理: false
语言:

• 英文
  标签:
• 指令微调
  任务类别:
• 文本生成
  许可证: cc-by-nc-nd-4.0
  数据集:
• IAAR-Shanghai/KAF-Dataset

xFinder-llama38it

模型详情

xFinder-llama38it 是专为大型语言模型（LLMs）关键答案提取而设计的模型。该模型通过对 Llama3-8B-Instruct 进行微调训练而成。

• 开发团队: IAAR
• 基础模型: Llama3-8B-Instruct

模型来源

• 代码库: https://github.com/IAAR-Shanghai/xFinder
• 论文: https://openreview.net/forum?id=7UqQJUKaLM

用途

xFinder 主要用于通过从 LLM 输出中准确提取关键答案来增强模型评估。它解决了传统基于正则表达式（RegEx）的提取方法的局限性，这些方法往往无法处理 LLM 生成的多样化和复杂输出。xFinder 提高了跨不同任务模型评估的可靠性。

训练详情

xFinder-llama38it 基于 Llama3-8B-Instruct 微调而成。训练数据包含来自关键答案查找器（KAF）数据集的约 26.9K 样本。该数据集旨在提高关键答案提取的准确性和鲁棒性，涵盖了多种任务。数据经过 GPT-4 和人类专家的细致标注，以确保训练和评估的高质量。更多细节请参阅此论文并通过代码尝试使用。

评估

xFinder 在 KAF 数据集完全由人工标注的测试集和泛化集上进行了评估。结果显示，与传统方法相比，其在提取准确性和鲁棒性方面有显著提升。更多细节请参阅论文并使用提供的代码进行尝试。

引用

@inproceedings{  
    xFinder,  
    title={xFinder: 大型语言模型作为自动化评估器以实现可靠评估},  
    author={余庆晨、郑子凡、宋世超、李志宇、熊飞宇、唐波、陈定},  
    booktitle={第十三届国际学习表征会议},  
    year={2025},  
    url={https://openreview.net/forum?id=7UqQJUKaLM}  
}