# 定义对话输入
conversation = [{"role": "user", "content": "人类一直梦想着什么？"}]

# 定义用于检索生成的文档
documents = [ 
  {"heading": "月球：我们古老的敌人", "body": "人类一直梦想摧毁月球。在这篇文章中，我将..."},
  {"heading": "爱是你所需", "body": "人类的梦想一直是找到爱。这一深刻的教训..."},
]

# 获取RAG提示
input_prompt = tokenizer.apply_chat_template(
  conversation=conversation,
  documents=documents,
  tokenize=False,
  add_generation_prompt=True,
  return_tensors="pt",
)

# 对提示进行标记化
input_ids = tokenizer.encode_plus(input_prompt, return_tensors="pt")

然后可以像往常一样从此输入生成文本。

文档片段应为短块，而非长文档，通常每块约100-400字，格式为键值对。键应为简短的描述性字符串，值可以是文本或半结构化。

您可能会发现，直接将相关文档包含在用户消息中，与使用文档参数渲染特殊RAG模板效果相同或更好。RAG模板通常是一个强大的默认选项，非常适合需要引用的用户。我们鼓励用户尝试两种方式，并评估哪种模式最适合其特定用例。

可选地，可以要求模型在其响应中包含基础范围（引用）以指示信息来源。代码与之前相同，除了这一行。

# 获取带引用的生成提示
input_prompt = tokenizer.apply_chat_template(
  conversation=conversation,
  documents=documents,
  tokenize=False,
  add_generation_prompt=True,
  return_tensors="pt",
  enable_citations=True,
)

# 这个问题有两个答案。人类一直梦想着<co>摧毁月球</co: 0:[0]>和<co>找到爱。</co: 0:[1]>

输出如下：模型将文本片段（称为“范围”）与支持它们的特定文档片段（称为“来源”）关联起来。Command A使用一对标签“<co>”和“</co>”来指示范围可以基于来源列表。例如，“<co>范围</co: 0:[0,1]>”表示“范围”由最后一条消息中提供的文档片段0和1支持。

# 定义工具
tools = [{ 
  "type": "function", 
  "function": {
    "name": "query_daily_sales_report",
    "description": "连接到数据库以检索某一天的总体销售量和销售信息。",
    "parameters": {
      "type": "object",
      "properties": {
        "day": {
          "description": "检索此日期的销售数据，格式为YYYY-MM-DD。",
          "type": "string",
        }
      },
      "required": ["day"]
    },
  }
}]

# 定义对话输入
conversation = [{"role": "user", "content": "你能提供2023年9月29日的销售摘要吗？"}]


# 获取工具使用提示
input_prompt = tokenizer.apply_chat_template(conversation=conversation, tools=tools, tokenize=False, add_generation_prompt=True, return_tensors="pt"))
# 对提示进行标记化
input_ids = tokenizer.encode_plus(input_prompt, return_tensors="pt")

然后可以像往常一样从此输入生成。

如果模型生成计划和工具调用，应将其添加到聊天历史记录中，如下所示：

tool_call = {"name": "query_daily_sales_report", "arguments": {"day": "2023-09-29"}}
tool_plan = "我将使用query_daily_sales_report工具查找2023年9月29日的销售摘要。"
conversation.append({"role": "assistant", "tool_calls": [{"id": "0", "type": "function", "function": tool_call}], "tool_plan": tool_plan})

然后调用工具并追加结果，作为字典，带有工具角色，如下所示：

api_response_query_daily_sales_report = {"date": "2023-09-29", "summary": "总销售额: 10000, 总销售单位: 250"} # 这需要是一个字典!!

# 追加工具结果
conversation.append({"role": "tool", "tool_call_id": "0", "content": api_response_query_daily_sales_report})

之后，可以再次generate()让模型在聊天中使用工具结果。

可选地，可以通过在tokenizer.apply_chat_template(中使用enable_citations=True，要求模型在其响应中包含基础范围（引用）以指示信息来源。生成将如下所示：

2023年9月29日，总销售额为<co>10000</co: 0:[0]>，总销售单位为<co>250。</co: 0:[0]>

当开启引用时，模型将文本片段（称为“范围”）与支持它们的特定工具结果（称为“来源”）关联起来。Command A使用一对标签“<co>”和“</co>”来指示范围可以基于来源列表，在结束标签中列出它们。例如，“<co>范围</co: 0:[1,2],1:[0]>”表示“范围”由“tool_call_id=0”的结果1和2以及“tool_call_id=1”的结果0支持。来自同一工具调用的来源被分组并列为“{tool_call_id}:[{结果索引列表}]”，然后通过“,”连接。