license: apache-2.0 datasets:

• xingyaoww/code-act language:
• en pipeline_tag: text-generation tags:
• llm-agent

可执行代码动作能激发更强大的LLM智能体

💻 代码 • 📃 论文 • 🤗 数据 (CodeActInstruct) • 🤗 模型 (CodeActAgent-Mistral-7b-v0.1) • 🤖 与CodeActAgent对话！

我们提出使用可执行的Python代码将LLM智能体的动作统一到一个动作空间（CodeAct）。通过与Python解释器集成，CodeAct可以执行代码动作，并通过多轮交互动态修改先前的动作或根据新的观察（例如代码执行结果）发出新的动作。

为什么选择CodeAct？

我们对17个LLM在API-Bank和新策划的基准测试M³ToolEval上的广泛分析表明，CodeAct优于广泛使用的替代方案如文本和JSON（成功率高出20%）。请查看我们的论文以获取更详细的分析！

CodeAct与文本/JSON作为动作的比较。

在M³ToolEval上比较CodeAct与{文本, JSON}的定量结果。

📁 CodeActInstruct

我们收集了一个指令调优数据集CodeActInstruct，包含7k个使用CodeAct的多轮交互。数据集发布于huggingface数据集🤗。请参阅论文和本节了解数据收集的详细信息。

数据集统计。使用Llama-2分词器计算token统计。

🪄 CodeActAgent

在CodeActInstruct和一般对话上训练的CodeActAgent在领域外智能体任务上表现优于同规模的开源模型，同时不牺牲通用性能（例如知识、对话）。我们发布了两个CodeActAgent的变体：

• CodeActAgent-Mistral-7b-v0.1（推荐，模型链接）：使用Mistral-7b-v0.1作为基础模型，具有32k上下文窗口。
• CodeActAgent-Llama-7b（模型链接）：使用Llama-2-7b作为基础模型，具有4k上下文窗口。

CodeActAgent的评估结果。ID和OD分别代表领域内和领域外评估。总体平均性能将MT-Bench分数标准化以与其他任务一致，并排除领域内任务以进行公平比较。

请查看我们的论文和代码以获取有关数据收集、模型训练和评估的更多详细信息。

📚 引用

@misc{wang2024executable,
      title={Executable Code Actions Elicit Better LLM Agents}, 
      author={Xingyao Wang and Yangyi Chen and Lifan Yuan and Yizhe Zhang and Yunzhu Li and Hao Peng and Heng Ji},
      year={2024},
      eprint={2402.01030},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}