license: cc-by-sa-4.0

基础模型：microsoft/Phi-3-mini-128k-instruct

概述
本模型旨在增强对提供上下文的遵循能力（例如用于RAG应用），并减少幻觉现象，其灵感来源于airoboros的上下文服从式问答格式。

license: cc-by-4.0

上下文DPO

概述

上下文提示的格式如下：

BEGININPUT
BEGINCONTEXT
[键0: 值0]
[键1: 值1]
...其他元数据...
ENDCONTEXT
[在此插入文本块]
ENDINPUT
[可添加任意数量相同格式的文本块]
BEGININSTRUCTION
[插入指令。模型已针对单问题、段落格式、列表等场景进行调优]
ENDINSTRUCTION

虽然这种格式略显冗长，但经过大量试验证明，使用这些明确的分隔符能有效帮助模型定位回答来源并关联具体信息：

• BEGININPUT - 标记新输入块的开始
• BEGINCONTEXT - 标记当前输入块的上下文元数据（键值对）
• ENDCONTEXT - 标记当前输入块元数据的结束
• [文本] - 可插入任意长度的文本内容
• ENDINPUT - 标记当前输入块的结束
• [可重复添加多个相同格式的输入块]
• BEGININSTRUCTION - 标记针对上述所有输入块的指令开始
• [指令内容]
• ENDINSTRUCTION - 标记指令集的结束

示例（简单但重要）：

BEGININPUT
BEGINCONTEXT
date: 2021-01-01
url: https://web.site/123
ENDCONTEXT
令人震惊的是，蓝莓现在变成了绿色，但仍将保留原名。
ENDINPUT
BEGININSTRUCTION
蓝莓现在是什么颜色？请注明来源。
ENDINSTRUCTION

预期响应：

蓝莓现在是绿色的。
来源：
date: 2021-01-01
url: https://web.site/123

响应中的引用

如示例所示，当问题要求提供来源/引用时，数据集中包含许多在响应中包含来源细节的案例。

这样设计的原因在于：RAG（检索增强生成）流程中最薄弱的环节往往是检索（R）部分。检索准确率受多种因素（包括总体数据集规模）影响可能较低。虽然增加检索文档数量能提高准确率，但会面临如何在提示中有效利用这些文档的问题。若对每个文档（或文档块）单独提问，可以明确答案来源；但若在单个提示中包含多个文档块时，标注实际用于生成回答的具体文档块（而非盲目引用所有文档块）将更为合理。

例如有两个文档：

url: http://foo.bar/1
草莓很美味。

url: http://bar.foo/2
猫是蓝色的。

当提问"猫是什么颜色？"时，响应中应仅引用第二个文档，因第一个链接与此无关。