语言:

• 韩语 许可证: apache-2.0 库名称: transformers 标签:
• 文本生成推理 指标:
• 准确率
• F1值
• 精确率
• 召回率 任务标签: 文本分类

EEVE-韩语指导-10.8B-v1.0-检索评分模型

关于模型

该模型经过微调，用于评估RAG（检索增强生成）中针对问题的检索上下文是否正确，并以"是"或"否"回答。

该模型的基础模型是yanolja/EEVE-韩语指导-10.8B-v1.0。

提示模板

给定问题和信息时，请评估该信息是否足以回答问题。
请用"是"或"否"来评估信息是否充分。

### 问题:
{question}

### 信息:
{context}

### 评估:

使用方法

import torch
from transformers import (
    BitsAndBytesConfig,
    AutoModelForCausalLM,
    AutoTokenizer,
)

model_path = "sinjy1203/EEVE-Korean-Instruct-10.8B-v1.0-Grade-Retrieval"
nf4_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_use_double_quant=True,
    bnb_4bit_compute_dtype=torch.float16,
)

tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(
    model_path, quantization_config=nf4_config, device_map={'': 'cuda:0'}
)

prompt_template = '给定问题和信息时，请评估该信息是否足以回答问题。\n请用"是"或"否"来评估信息是否充分。\n\n### 问题:\n{question}\n\n### 信息:\n{context}\n\n### 评估:\n'
query = {
    "question": "社团期末聚会是什么时候？",
    "context": "期末聚会的日期是6月21日。"
}

model_inputs = tokenizer(prompt_template.format_map(query), return_tensors='pt')
output = model.generate(**model_inputs, max_new_tokens=100, max_length=200)
print(output)

示例输出

给定问题和信息时，请评估该信息是否足以回答问题。
请用"是"或"否"来评估信息是否充分。

### 问题:
社团期末聚会是什么时候？

### 信息:
期末聚会的日期是6月21日。

### 评估:
是<|end_of_text|>

训练数据

• 参考了stanford_alpaca生成的指令
• 使用yanolja/EEVE-韩语指导-10.8B-v1.0作为问题生成的基础模型

指标

韩语LLM基准测试

生成数据集