基础模型:

• meta-llama/Llama-3.2-3B-Instruct 语言:
• 英语 许可证: apache-2.0 任务标签: 问答 库名称: transformers

注：我们仍在完善该模型。

您是否为RAG系统寻找更强大可靠的生成模型？

Gen-8B-R2模型能有效缓解由检索噪声和信息过载导致的幻觉问题。

详见我们的论文链接

什么是Gen-8B-R2？

该模型是Ext2Gen-8B-R2的变体之一，禁用了从文本块列表中提取句子的过程。

Ext2Gen-8B-R2详情见：https://huggingface.co/DISLab/Ext2Gen-8B-R2

推荐提示模板

• query: 待回答的查询
• chunk_list: 检索到的文本块列表，例如["文本块1", "文本块2", "文本块3"]

def prepare_sample_text(prompt):
    row_json = [{"role": "user", "content": prompt}]
    return tokenizer.apply_chat_template(row_json, tokenize=False)

def format_prompt_template(query, chunk_list):
    chunk_list = ['[文本块ID: '+ str(idx+1) + '] ' + chunk_text for idx, chunk_text in enumerate(chunk_list)]
    chunk_list = '\n'.join(chunk_list)

    prompt = '''
您是基于文档块生成答案的专家助手。


### 生成指令:
- 根据给定的文本块列表回答查询


### 查询: 
%s


### 文本块列表:
%s


### 输出:
''' % (query, chunk_list)
    
    return prompt.strip()

prompt = format_prompt_template(query, noisy_chunks)
prompt = prepare_sample_text(prompt)

注意该提示模板会同时输出提取的相关句子和查询答案。

输出遵循如下统一格式示例：

切姆诺集中营的死亡人数估计在15-30万之间，主要是犹太人。

推荐生成参数

max_new_tokens=1024, # 或2048
do_sample=True,
temperature=0.8,
top_p=0.9,