ReAct 框架深度解析：推理与行动如何协同工作

ReAct 框架深度解析：推理与行动如何协同工作作者：林墨，10年+全栈AI应用开发经验，专注于LLM工程化与Agent落地，曾主导千万级用户知识问答系统的Agent化重构。摘要/引言开门见山：我们为什么需要「思考+行动」的LLM？2023年ChatGPT横空出世时，所有AI从业者都在惊叹大语言模型（LLM）的通用文本生成与逻辑推理能力——它能解高中数学题、写完整的代码模块、甚至模仿莎士比亚写情诗。但当你尝试让它回答「2024年巴黎奥运会男子100米自由泳冠军是谁？」或者「帮我订一张明天下午从上海虹桥到杭州东站最便宜的高铁二等座并实时通知改签政策」时，它要么会编造不存在的事实（幻觉Hallucination），要么会直接说「我无法获取实时数据」「我无法执行外部操作」。这背后的核心矛盾是什么？纯文本生成的LLM就像一个「只读型的超级天才」：它拥有从海量训练数据（通常截止到某个时间点，比如GPT-4的训练截止是2023年10月）中提炼的静态知识，但它没有办法「睁开眼睛」看实时世界、没有办法「动手」完成外部工具的调用、也没有办法「复盘」刚才的思考是否正确、行动是否有效。为了解决这个问题，2022年10月由普林斯顿大学和Google Research的Yao et al.提出的ReAct（Reasoning + Acting）框架，如同给这个「只读天才」装上了摄像头（信息获取）、机械手（工具执行）和大脑前额叶皮层的「工作记忆+反思回路」——它首次系统性地将人类解决问题的经典「思考-行动-观察-再思考」循环（类似儿童的「试错学习法」或科学家的「假设验证法」）与LLM结合，让Agent（LLM驱动的智能体）真正实现了「感知-认知-决策-执行-反馈」的闭环。根据原始论文《ReAct: Synergizing Reasoning and Acting in Language Models》的实验数据：在知识密集型问答任务（如HotpotQA）上，ReAct比纯推理的CoT（Chain-of-Thought）框架准确率提升了10%-15%，幻觉率降低了40%以上；在交互式决策任务（如WebShop购物模拟、ALFWorld虚拟家务）上，ReAct比纯行动的 imitation learning 或强化学习方法成功率提升了20%-30%，且训练成本降低了99%（不需要大量标注的交互轨迹，只需要极少的few-shot示例甚至zero-shot就能工作）。目前，ReAct框架已经成为所有主流LLM Agent平台的核心底层逻辑：LangChain的ZeroShotAgent/ReActAgent、OpenAI的Assistants API、Anthropic的Claude Tool Use、微软的AutoGen、Meta的AgentBench——几乎你能想到的所有能调用工具、能和外部世界交互的LLM应用，底层都在用ReAct或者ReAct的变种（如ReAct+Reflexion、ReAct+Self-Consistency、Tree-of-Thoughts ReAct等）。问题陈述：本文将要解决的3个核心问题在接下来的内容中，我不会只停留在「ReAct是什么」的表层介绍，而是会从理论基础、技术架构、算法实现、工程落地、未来趋势五个维度，深度拆解以下3个所有LLM Agent开发者都会遇到的核心问题：概念层：什么是ReAct？它和CoT、WebGPT、Toolformer这些前辈/同期技术有什么本质区别？它的核心要素、核心循环、数学模型是什么？技术层：如何从0到1用Python实现一个完整的ReAct Agent？如何设计Agent的工具系统、Prompt系统、记忆系统？如何解决ReAct常见的问题（如循环调用工具、工具参数错误、Prompt过长导致的上下文溢出）？工程层：ReAct在真实场景中有哪些落地案例？如何优化ReAct Agent的性能（如准确率、响应速度、成本）？LangChain、OpenAI Assistants这些现成平台是如何封装ReAct的？我们应该在什么场景下选择原生实现还是现成平台？核心价值：读完这篇文章你能获得什么？如果你是：AI初学者：你能从零理解LLM Agent的核心逻辑，掌握ReAct的基本概念和实现方法，甚至能写出一个能查天气、搜新闻的简单ReAct Agent。全栈工程师/后端开发者：你能深入理解ReAct的技术架构、核心算法和工程优化技巧，能独立设计和实现一个生产级别的ReAct Agent系统。AI产品经理/创业者：你能了解ReAct在真实场景中的落地边界和最佳实践，能基于ReAct设计出有竞争力的AI产品。AI研究者：你能了解ReAct的理论基础、数学模型和未来发展方向，能基于ReAct提出新的改进思路（比如结合强化学习、知识图谱、多模态等）。文章概述：接下来我们会讲什么？为了让你循序渐进地掌握ReAct，我将文章分为以下7个核心章节：第一章：ReAct的起源与理论基础—— 从人类的问题解决循环出发，介绍ReAct的提出背景、核心思想，对比ReAct与CoT、WebGPT、Toolformer的异同，最后介绍ReAct的数学模型和算法流程图。第二章：ReAct的核心架构与要素组成—— 拆解ReAct的「Prompt模板」「工具系统」「记忆系统」「决策引擎」「执行引擎」「反馈系统」六大核心要素，用Mermaid架构图展示它们之间的交互关系，用Markdown表格对比不同要素的实现方案。第三章：从0到1用Python实现一个原生ReAct Agent—— 不依赖任何第三方Agent平台，只用Python的OpenAI SDK、Requests库、Flask框架，实现一个能查天气、搜维基百科、查股票、发邮件的完整ReAct Agent，附带详细的代码注释和调试技巧。第四章：ReAct的常见问题与解决方案—— 分析ReAct在实际使用中遇到的「循环调用」「工具参数错误」「上下文溢出」「幻觉残留」「响应速度慢」「成本高」六大问题，每个问题都给出2-3种可落地的解决方案。第五章：ReAct在真实场景中的落地案例与最佳实践—— 介绍3个我亲自参与或观察到的生产级ReAct应用：千万级用户知识问答系统的Agent化重构、电商平台的智能客服机器人、医疗领域的临床辅助决策系统，每个案例都包含背景介绍、系统架构、核心实现、优化效果、最佳实践。第六章：ReAct的主流平台实现与对比—— 对比LangChain ReActAgent、OpenAI Assistants API、Anthropic Claude Tool Use、微软AutoGen四大主流平台的ReAct实现方案，用Markdown表格从「易用性」「灵活性」「性能」「成本」「社区生态」五个维度进行评分，最后给出选择建议。第七章：ReAct的发展历史、现状与未来趋势—— 用Markdown表格梳理ReAct从2022年提出到2025年的发展历史，分析当前ReAct的局限性，最后展望ReAct与「强化学习」「知识图谱」「多模态」「小模型微调」「自主Agent」结合的未来发展方向。第一章：ReAct的起源与理论基础核心概念在介绍ReAct之前，我们需要先明确几个核心前置概念，以及ReAct本身的明确定义：大语言模型（LLM）：一种基于Transformer架构、通过海量文本数据预训练得到的生成式AI模型，能够理解和生成人类语言，具备一定的逻辑推理、知识问答、代码生成等能力。典型代表包括GPT-4o、Claude 3 Opus、Gemini 1.5 Pro、Llama 3 70B等。Chain-of-Thought（CoT，思维链）：一种提示工程（Prompt Engineering）技术，通过在Prompt中加入「让我们一步步思考」（Let’s think step by step）的指令，或者提供包含「推理过程」的few-shot示例，引导LLM在生成最终答案之前，先输出详细的中间推理步骤，从而显著提升LLM在复杂逻辑推理、数学题、代码调试等任务上的准确率。CoT由Google Research的Wei et al.于2022年1月提出。WebGPT/WebBrowsing：OpenAI于2021年12月提出的技术，通过给GPT-3.5（当时的名称是text-davinci-002）加上「网页搜索」「点击链接」「提取摘要」等浏览器操作能力，让LLM能够获取训练数据截止之后的实时信息，从而解决知识过时的问题。但WebGPT的推理和行动是分离的：它先搜索，然后根据搜索结果直接生成答案，没有将推理过程和行动过程结合起来。Toolformer：Meta AI于2023年2月提出的技术，通过微调LLM，让它学会自主判断何时需要调用外部工具（如计算器、搜索引擎、翻译器），并学会生成符合特定格式的工具调用请求。但Toolformer的微调需要大量标注的「工具调用轨迹」数据，成本较高，且通用性较差（微调后只能调用预定义的少数工具）。ReAct（Reasoning + Acting，推理行动协同框架）：普林斯顿大学和Google Research的Yao et al.于2022年10月提出的一种通用LLM Agent框架，核心思想是将LLM的推理过程和行动过程完全融合起来，让Agent在解决问题时遵循「思考（Think）→ 行动（Act）→ 观察（Observe）→ 再思考（Think）→ …… → 得出最终答案（Finish）」的循环（我们称之为ReAct循环）。ReAct不需要微调LLM，只需要极少的few-shot示例甚至zero-shot就能工作，且通用性极强（可以调用任意预定义的工具）。问题背景1.1.1 纯推理（CoT）的局限性：幻觉、知识过时、无法执行外部操作虽然CoT显著提升了LLM的逻辑推理能力，但它仍然存在三个致命的局限性：幻觉（Hallucination）：CoT只是让LLM「假装思考」，并没有验证推理过程中用到的知识是否正确——如果LLM的训练数据中存在错误信息，或者LLM在推理过程中「编」了一些不存在的事实，CoT不仅不会纠正这些错误，反而会让这些错误看起来更「合理」（因为有详细的推理过程支撑）。比如，如果你让GPT-4用CoT回答「2024年巴黎奥运会男子100米自由泳冠军是谁？」，它可能会编造一个「2024年7月28日，美国选手Caeleb Dressel以46.96秒的成绩夺得冠军，打破了自己保持的世界纪录」的推理过程和答案，但实际上Caeleb Dressel并没有参加2024年巴黎奥运会（他在2022年因心理健康问题暂时退役，2024年才复出，但状态不佳），2024年巴黎奥运会男子100米自由泳冠军是中国选手潘展乐，成绩是46.40秒，打破了世界纪录。知识过时（Static Knowledge）：所有纯文本生成的LLM都有一个「训练截止时间」（Cutoff Date）——比如GPT-4的训练截止是2023年10月，Claude 3 Opus的训练截止是2024年3月，Llama 3 70B的训练截止是2023年12月。这意味着LLM无法获取训练截止时间之后发生的实时事件（如2024年巴黎奥运会的结果、2025年的股市行情、今天的天气），也无法获取训练数据中没有的私有知识（如你公司的内部文档、你的个人日程安排）。无法执行外部操作（No Action Capability）：纯推理的LLM只是一个「信息处理机器」，它无法和外部世界进行物理或数字交互——比如它无法帮你订机票、订酒店、发邮件、控制智能家居设备、修改代码库、运行测试用例等。1.1.2 纯行动（Imitation Learning/RL、WebGPT、Toolformer微调版）的局限性：缺乏可解释性、训练成本高、灵活性差为了解决纯推理的局限性，研究者们提出了很多纯行动的方法——比如让LLM模仿人类的交互轨迹（Imitation Learning）、用强化学习（RL）训练LLM调用工具、给LLM加上浏览器操作能力（WebGPT）、微调LLM让它学会调用工具（Toolformer微调版）。但这些方法也存在三个严重的局限性：缺乏可解释性（No Interpretability）：纯行动的方法通常只会输出「行动」和「最终答案」，不会输出「为什么要这么做」的推理过程——比如WebGPT只会告诉你「我搜索了『2024年巴黎奥运会男子100米自由泳冠军』，然后点击了维基百科的链接，提取了摘要，答案是潘展乐」，但不会告诉你「我为什么要搜索这个关键词？我为什么要点击维基百科的链接而不是其他链接？我为什么信任这个搜索结果？」。这使得纯行动的Agent很难调试（如果它做错了，你不知道它为什么错），也很难让用户信任（用户不知道它的答案是怎么来的）。训练成本高（High Training Cost）：纯行动的方法（尤其是Imitation Learning和RL）需要大量的标注交互轨迹数据——比如要训练一个能在WebShop上购物的Agent，你需要收集成千上万条人类的购物轨迹（比如「用户搜索『红色连衣裙』→ 点击第3个商品 → 查看商品详情 → 选择尺码M → 加入购物车 → 结算」），然后让Agent模仿这些轨迹，或者用RL让Agent在不断试错中学习。收集这些标注数据的成本非常高（一条高质量的标注轨迹可能需要几十甚至几百美元），训练的时间也非常长（可能需要几天甚至几周）。灵活性差（Low Flexibility）：纯行动的方法（尤其是Toolformer微调版）通常只能调用预定义的少数工具——比如Toolformer微调版可能只能调用计算器、搜索引擎、翻译器这三个工具，如果你想让它调用股票查询工具或发邮件工具，你需要重新收集标注数据、重新微调LLM，这非常麻烦。此外，纯行动的Agent通常很难适应新的任务或新的环境——比如你训练了一个能在WebShop上买衣服的Agent，如果你想让它买电子产品，它可能就不会工作了。1.1.3 人类的问题解决循环：思考-行动-观察-再思考既然纯推理和纯行动都有局限性，那我们为什么不看看人类是怎么解决复杂问题的？比如，当你遇到「明天下午从上海虹桥到杭州东站最便宜的高铁二等座是什么时候？多少钱？」这个问题时，你的解决过程通常是这样的：思考（Think）：我需要解决这个问题，首先我应该获取明天（2025年X月X日）上海虹桥到杭州东站的高铁时刻表和票价信息——但我没有实时的铁路数据，所以我需要调用一个「铁路查询工具」。调用这个工具需要什么参数？应该需要「出发站」「到达站」「出发日期」「座位类型」这四个参数。出发站是上海虹桥，到达站是杭州东站，出发日期是明天，座位类型是二等座。行动（Act）：打开12306APP或携程APP，输入「上海虹桥」「杭州东站」「2025年X月X日」「二等座」，点击查询按钮。观察（Observe）：看查询结果，找到最便宜的二等座——比如是G7351次列车，14:32从上海虹桥出发，15:10到达杭州东站，票价是73元。再思考（Think）：这个结果对吗？我需要确认一下——比如我可以再调用另一个铁路查询工具（比如铁路12306官网）验证一下，或者看看有没有更便宜的票（比如学生票、儿童票，但问题里没说，所以应该是成人票）。哦，问题里说的是「明天下午」，我需要确认一下G7351次列车是不是下午出发的——14:32是下午，对的。那这个结果应该是正确的。得出最终答案（Finish）：明天下午从上海虹桥到杭州东站最便宜的高铁二等座是G7351次列车，14:32出发，15:10到达，票价73元。再比如，当你遇到「如何用Python实现一个快速排序算法？」这个问题时，你的解决过程通常是这样的：思考（Think）：快速排序的核心思想是「分治法」——首先选择一个基准元素（Pivot），然后将数组分成两部分：左边的元素都小于等于基准元素，右边的元素都大于等于基准元素，然后递归地对左右两部分进行排序。我需要先写一个函数来实现「分区（Partition）」操作，然后再写一个递归函数来实现快速排序。对了，我应该先测试一下分区函数是否正确——比如我可以用一个简单的数组测试一下。行动（Act）：打开VS Code，新建一个Python文件，先写分区函数，然后写快速排序函数，然后写一个简单的测试用例（比如[3,6,8,10,1,2,1]），然后运行测试用例。观察（Observe）：看测试结果——哦，分区函数写错了，基准元素应该和右边的元素交换位置吗？或者应该用左右指针法？不对，我刚才用的是Lomuto分区法，应该用一个指针i来记录小于等于基准元素的位置，然后用指针j遍历数组，当遇到小于等于基准元素的元素时，i加1，然后交换arr[i]和arr[j]，最后交换arr[i+1]和arr[high]（基准元素）。哦，我刚才忘记交换arr[i+1]和arr[high]了！再思考（Think）：那我修改一下分区函数，加上最后一步交换，然后再运行测试用例。行动（Act）：修改分区函数，然后再运行测试用例。观察（Observe）：测试结果正确了，数组变成了[1,1,2,3,6,8,10]。再思考（Think）：那我再测试几个边界情况——比如空数组、只有一个元素的数组、已经排好序的数组、逆序的数组。行动（Act）：加上边界情况的测试用例，然后运行测试用例。观察（Observe）：所有边界情况的测试结果都正确了。得出最终答案（Finish）：把快速排序的代码整理一下，加上注释，输出最终答案。从这两个例子可以看出，人类解决复杂问题的核心是「推理与行动的协同」——我们不会只思考不行动（那样永远得不到结果），也不会只行动不思考（那样很容易做错），而是会在思考的指导下行动，在行动的结果中反思，在反思的基础上再思考再行动，直到问题解决。Yao et al.正是受到了人类问题解决循环的启发，提出了ReAct框架——让LLM像人类一样，将推理过程和行动过程完全融合起来。问题描述原始论文《ReAct: Synergizing Reasoning and Acting in Language Models》主要解决了两个核心问题：知识密集型问答任务（Knowledge-Intensive QA）：如何让LLM在回答需要外部知识（尤其是实时知识或私有知识）的问题时，减少幻觉，提高准确率？交互式决策任务（Interactive Decision Making）：如何让LLM在解决需要和外部环境交互的任务时，提高成功率，降低训练成本，增强可解释性？为了验证ReAct框架的有效性，原始论文在四个标准 benchmark上进行了实验：HotpotQA：一个知识密集型多跳问答 benchmark，需要LLM结合多个维基百科页面的信息来回答问题。FEVER：一个事实核查 benchmark，需要LLM判断一个陈述是「正确（Supports）」「错误（Refutes）」还是「无法判断（Not Enough Info）」，并提供证据。WebShop：一个交互式网页购物模拟 benchmark，需要LLM根据用户的指令（比如「买一件红色的、棉质的、尺码M的、价格低于50美元的连衣裙」）在模拟的网页上搜索、浏览、选择商品、结算。ALFWorld：一个交互式虚拟家务模拟 benchmark，需要LLM根据用户的指令（比如「把桌子上的苹果放到冰箱里」）在虚拟的3D环境中移动、拿起、放下物品。问题解决：ReAct的核心循环ReAct框架的核心是一个由LLM驱动的、不断重复的循环——我们称之为ReAct循环。ReAct循环的每一步都包含三个核心组件：思考（Thought）：LLM根据当前的「上下文历史（Context History，包括之前的思考、行动、观察）」生成下一步的推理过程——比如「我需要调用什么工具？」「调用这个工具需要什么参数？」「刚才的行动结果对吗？」「接下来我应该做什么？」。行动（Action）：LLM根据「思考」生成下一步的行动——行动通常是「调用一个外部工具」或者「得出最终答案」。行动需要符合特定的格式（比如Action: Search[2024年巴黎奥运会男子100米自由泳冠军]或者Action: Finish[潘展乐]），这样「执行引擎」才能识别并执行行动。观察（Observation）：执行引擎执行完行动之后，会返回一个「观察结果」——如果行动是「调用外部工具」，观察结果就是工具的返回值；如果行动是「得出最终答案」，观察结果就是「任务完成」的信号，ReAct循环结束。为了让LLM学会遵循ReAct循环，我们需要在Prompt模板中加入包含ReAct循环的few-shot示例——比如下面是一个针对HotpotQA任务的few-shot示例：You are a helpful AI assistant that can solve knowledge-intensive questions by following the ReAct loop: Think → Act → Observe → Think → ... → Finish. You have access to the following tools: 1. Search[query]: Search Wikipedia for the given query and return the first paragraph of the top result. 2. Lookup[keyword]: Look up the given keyword in the current Wikipedia page and return the next sentence containing the keyword. Please follow the format strictly: Thought: [your reasoning process] Action: [one of Search[query], Lookup[keyword], Finish[answer]] Observation: [the result of the action, provided by the environment] ... (repeat Thought/Action/Observation until you are ready to Finish) Thought: I now know the final answer. Action: Finish[the final answer] --- Example 1: Question: What is the birthplace of the author of "The Little Prince"? Thought: I need to find the author of "The Little Prince" first, then find their birthplace. Action: Search[The Little Prince author] Observation: The Little Prince (French: Le Petit Prince) is a novella written and illustrated by French writer and military pilot Antoine de Saint-Exupéry. Thought: The author is Antoine de Saint-Exupéry. Now I need to find his birthplace. Action: Search[Antoine de Saint-Exupéry birthplace] Observation: Antoine Marie Jean-Baptiste Roger de Saint-Exupéry was born on 29 June 1900 in Lyon, France. Thought: I now know the final answer. Action: Finish[Lyon, France]从这个示例可以看出，ReAct的Prompt模板主要包含四个部分：角色定义与任务说明：告诉LLM它是谁，它的任务是什么，它需要遵循ReAct循环。工具列表：告诉LLM它有哪些工具可以调用，每个工具的功能是什么，每个工具的输入参数是什么。格式说明：告诉LLM它必须严格遵循的格式（比如Thought:、Action:、Observation:的前缀，工具调用的格式，最终答案的格式）。Few-shot示例：给LLM提供1-5个包含完整ReAct循环的示例，让LLM学会如何思考、如何行动、如何利用观察结果。当LLM接收到用户的问题之后，它会结合Prompt模板和当前的上下文历史，生成下一步的「思考」和「行动」；然后执行引擎会执行「行动」，返回「观察结果」；接着我们会把「思考」「行动」「观察结果」添加到上下文历史中，再让LLM生成下一步的「思考」和「行动」；直到LLM生成「Finish[answer]」的行动，ReAct循环结束，我们把最终答案返回给用户。边界与外延1.5.1 ReAct的边界（局限性）虽然ReAct框架非常强大，但它仍然存在一些边界（局限性），我们在使用ReAct的时候必须注意：依赖LLM的基础能力：ReAct只是一个「框架」，它的效果完全依赖于底层LLM的基础能力——比如LLM的逻辑推理能力、工具调用的格式生成能力、上下文理解能力。如果你用一个能力很差的LLM（比如Llama 3 8B）来实现ReAct，效果肯定不会好；但如果你用一个能力很强的LLM（比如GPT-4o、Claude 3 Opus），效果就会非常好。依赖工具的质量：ReAct的效果也完全依赖于外部工具的质量——比如工具的返回结果是否准确、是否简洁、是否符合LLM的理解习惯。如果工具的返回结果是一堆杂乱无章的HTML代码，或者是错误的信息，LLM肯定无法利用它来解决问题；但如果工具的返回结果是简洁明了的结构化数据（比如JSON），或者是准确的摘要，LLM就能很好地利用它。上下文溢出的风险：ReAct循环每执行一步，都会把「思考」「行动」「观察结果」添加到上下文历史中——如果ReAct循环执行的步数很多（比如超过20步），或者工具的返回结果很长（比如超过1000个token），上下文历史的长度就会很快超过LLM的上下文窗口限制（Context Window Limit，比如GPT-4o的上下文窗口限制是128K token，Claude 3 Opus的上下文窗口限制是200K token），导致上下文溢出（Context Overflow），LLM无法理解之前的上下文历史，从而无法继续解决问题。循环调用的风险：如果LLM的推理过程出现错误，或者工具的返回结果不够清晰，LLM可能会循环调用同一个工具（比如不断搜索同一个关键词），或者循环调用不同的工具但没有进展，导致ReAct循环永远无法结束，浪费大量的时间和成本。无法处理需要复杂物理交互的任务：ReAct框架目前主要处理的是数字交互任务（比如搜索网页、调用API、发邮件），无法处理需要复杂物理交互的任务（比如做饭、打扫卫生、开车）——因为这些任务需要机器人的硬件支持，而ReAct框架目前还没有和机器人硬件深度结合。1.5.2 ReAct的外延（改进方向）为了克服ReAct的边界（局限性），研究者们提出了很多ReAct的外延（改进方向）：ReAct + Reflexion：在ReAct循环的基础上，加入反思（Reflection）步骤——当ReAct循环执行失败（比如任务没有完成、答案错误、循环调用）时，让LLM反思刚才的思考和行动哪里出错了，然后根据反思结果重新开始ReAct循环，或者调整下一步的思考和行动。Reflexion由普林斯顿大学和Google Research的Shinn et al.于2023年3月提出。ReAct + Self-Consistency：在ReAct循环的基础上，加入自我一致性（Self-Consistency）步骤——让LLM生成多个不同的ReAct循环轨迹，然后选择出现次数最多的最终答案。Self-Consistency由Google Research的Wang et al.于2022年3月提出。Tree-of-Thoughts (ToT) ReAct：在ReAct循环的基础上，加入思维树（Tree-of-Thoughts）步骤——让LLM生成多个不同的「思考」和「行动」分支，然后评估每个分支的可行性，选择最可行的分支继续执行，或者回溯到之前的分支重新执行。ToT由普林斯顿大学和Google Research的Yao et al.于2023年5月提出（没错，就是ReAct的同一批作者）。ReAct + RAG：在ReAct循环的基础上，加入检索增强生成（Retrieval-Augmented Generation，RAG）步骤——在ReAct循环开始之前，先从私有知识库中检索相关的文档，然后把这些文档添加到Prompt模板中，作为LLM的「先验知识」，减少LLM调用外部工具的次数，提高响应速度，降低成本。ReAct + 知识图谱（KG）：在ReAct循环的基础上，加入知识图谱（Knowledge Graph，KG）步骤——用知识图谱来存储和管理结构化的知识，让LLM能够更高效地检索和利用知识，减少幻觉，提高准确率。ReAct + 强化学习（RL）：在ReAct循环的基础上，加入强化学习（Reinforcement Learning，RL）步骤——用RL来训练LLM的「思考」和「行动」策略，让LLM能够更高效地解决问题，减少循环调用的次数，提高成功率。ReAct + 多模态（Multimodal）：在ReAct循环的基础上，加入多模态（Multimodal）能力——让LLM能够处理和生成图像、音频、视频等多模态数据，调用多模态工具（比如图像识别工具、语音合成工具、视频编辑工具），解决需要多模态交互的任务。ReAct + 小模型微调（Fine-tuning）：在ReAct循环的基础上，加入小模型微调（Fine-tuning）步骤——用少量的ReAct循环轨迹数据微调一个小模型（比如Llama 3 70B、Mistral Large），让小模型也能具备和大模型差不多的ReAct能力，降低成本，提高响应速度。自主Agent（Autonomous Agent）：在ReAct循环的基础上，加入自主规划（Autonomous Planning）「长期记忆（Long-term Memory）」「自我改进（Self-improvement）」等能力——让Agent能够自主设定目标、自主规划任务、自主存储和检索长期记忆、自主改进自己的策略，成为一个真正的「自主智能体」。典型代表包括AutoGPT、BabyAGI、AgentGPT等。概念结构与核心要素组成ReAct框架的概念结构可以分为三层：交互层（Interaction Layer）：负责Agent和用户、Agent和外部环境之间的交互——比如接收用户的问题、返回最终答案、执行外部工具的调用、获取工具的返回结果。核心层（Core Layer）：负责Agent的核心逻辑——比如驱动ReAct循环、生成「思考」和「行动」、管理上下文历史。支撑层（Support Layer）：负责为核心层提供支撑——比如Prompt模板、工具系统、记忆系统。ReAct框架的核心要素组成包括六个部分：Prompt模板（Prompt Template）：包含角色定义、任务说明、工具列表、格式说明、few-shot示例，用于引导LLM遵循ReAct循环。工具系统（Tool System）：包含工具定义、工具注册、工具执行三个模块，用于管理Agent可以调用的外部工具。记忆系统（Memory System）：包含短期记忆（Short-term Memory）和长期记忆（Long-term Memory）两个模块，用于存储和检索上下文历史和长期知识。决策引擎（Decision Engine）：基于LLM，用于生成「思考」和「行动」。执行引擎（Execution Engine）：用于执行决策引擎生成的「行动」——如果行动是「调用外部工具」，则调用工具系统执行；如果行动是「得出最终答案」，则返回最终答案。反馈系统（Feedback System）：用于收集用户的反馈或环境的反馈，用于优化Agent的策略（可选，比如在ReAct + RL中）。概念之间的关系1.7.1 概念核心属性维度对比（Markdown表格）为了更清晰地理解ReAct和其他相关技术的区别，我们从**「推理能力」「行动能力」「可解释性」「训练成本」「通用性」「幻觉率」** 六个核心属性维度进行对比：技术名称推理能力行动能力可解释性训练成本通用性幻觉率纯文本生成LLM（无CoT）低无低预训练成本高，推理成本低高高CoT（Chain-of-Thought）高无高预训练成本高，推理成本低（仅需Prompt）高中高（仅验证推理逻辑，不验证知识）WebGPT/WebBrowsing中中（仅网页操作）低预训练成本高，微调成本中低（仅网页操作）中（仅依赖搜索结果）Toolformer微调版中高（预定义工具）低预训练成本高，微调成本高低（仅预定义工具）中（仅依赖工具返回结果）ReAct（原生，无微调）高高（任意预定义工具）高仅预训练成本，推理成本中（仅需Prompt）极高低（依赖推理验证+工具返回结果）ReAct + Reflexion极高高极高仅预训练成本，推理成本中高极高极低Tree-of-Thoughts ReAct极高高极高仅预训练成本，推理成本高极高极低1.7.2 ReAct核心要素的ER实体关系图（Mermaid架构图）为了更清晰地理解ReAct核心要素之间的实体关系，我们用Mermaid ER图展示：