第一作者：Xu Huang

作者单位：中国科学技术大学

发表时间：2024/2

发表期刊：

关键内容：对LLM agentd 的 planning 进行分类：task decomposition, multi-plan selection, external module-aided planning, reflection and refinement, memory-augmented planning。

图1

1. Introduction

Agent 的定义：Autonomous agents have been recognized as intelligent entities capable of accomplishing specific tasks, via perceiving the environment, planning, and executing actions.

规划(planning)：生成一系列行动的过程：

$$p=\left(a_{0}, a_{1}, \cdots, a_{t}\right)=\operatorname{plan}(E, g ; \Theta, \mathcal{P})$$

其中，$a$未所采取的行动，$E$为环境，$g$为目标任务，$\Theta$为LLM参数，$P$为prompt。

2. Taxonomy

  • Task Decomposition. 将任务分解为多个子任务。
    • decomposition-first method
      • 子任务与原始任务之间的关联性更强，降低任务遗忘和幻觉的风险
      • 容错率更低，因为子任务一开始就被确定好，需要额外的调整机制，否则某个步骤中的一个错误会导致任务失败
    • Interleaved Decomposition Methods
      • 容错率更高，根据环境动态调整分解
      • 对于复杂任务，过长的轨迹可能会导致LLM产生幻觉，在后续的子任务和子规划中偏离最初的目标

图2

  • Multi-plan Selection. This kind of method focuses on leading the LLM to “think” more, generating various alternative plans for a task. Then a task-related search algorithm is employed to select one plan to execute. 即为一个任务生成多种规划，再搜索选择其一，面临资源和探索的trade-off。
  • External Planner-Aided Planning. This methodology is crafted to employ an external planner to elevate the planning procedure, aiming to address the issues of efficiency and infeasibility of generated plans, while the LLM mainly plays the role in formalizing the tasks. 即调用外部工具辅助生成规划。
  • Reflection and Refinement. It encourages LLM to reflect on failures and then refine the plan. 强化学习思想类似，对先前的规划进行反思及优化。
  • Memory-augmented Planning. 增加外部记忆模块，可以通过RAG、Embodied Memory（对模型进行微调）等技术增加模型的规划能力。

3. 参考文献

Huang X, Liu W, Chen X, et al. Understanding the planning of LLM agents: A survey[J]. arXiv preprint arXiv:2402.02716, 2024.