比Gemini3早发布的这篇Google论文更有意思

原文链接：https://arxiv.org/pdf/2509.25140

一、LLM 智能体“金鱼记忆”

当前大模型智能体在长周期、多任务场景下表现拉胯：

做完就忘，重复踩坑

只记“成功案例”，失败经验全丢

记忆=原始轨迹堆仓库，检索又慢又杂

一句话总结： 没有“错题本”的学霸不是真学霸。

二、核心贡献速览

ReasoningBank 能够归纳出可复用的推理策略，使记忆项在未来任务中更具迁移性。这让智能体得以持续进化，在 WebArena-Admin 子集上获得比“无记忆”基线更高的累积成功率。

亮点

一句话总结

ReasoningBank

把成功+失败轨迹蒸馏成可迁移的推理策略，人话版“错题+经验笔记”。

MaTTS

测试时把算力花在深度探索单任务，生成多样经验反哺记忆，形成“越用越聪明”闭环。

实验

实验WebArena、Mind2Web、SWE-Bench-Verified 三基准

全面 SOTA，成功率最高↑34%，步数 ↓16%。

三、方法总览一张图看懂

图 2：闭环记忆流程——检索 → 执行 → 提炼 → 回存

步骤

关键设计

① 记忆抽 取

LLM-as-a-Judge 先判 success/failure，再蒸馏成 {标题, 描述, 内容} 三元组

② 记忆检 索

用 Gemini Embedding 做语义检索，Top-k 相关策略注入系统 prompt

③ 记忆巩固

新轨迹即时提取并追加到记忆池， 零参数更新 ，线上即用

ReasoningBank 记忆格式（3 件套）

字段

作用

Title

策略关键词，如“优先检查分页控件”

Description

一句话摘要

Content

1-3 句可迁移的推理要点， 去网站/去查询 泛化

失败轨迹同样提炼“防坑指南”，首次让 负样本 发光发热。

四、MaTTS：把算力变成“好记性”

图 3：Vanilla TTS vs MaTTS 并行/串行 scaling

模式

做法

好处

Parallel

同一任务跑 k 条轨迹， 自对比 筛出一致策略

越大 k 越香，Best-of-N 从 49.7→55.1

Sequential

单条轨迹 多轮自反思 ，中间笔记也入库

小 k 性价比最高，收敛更快

记忆与 scaling 形成 双飞轮 ：好记忆指引探索 → 多样探索反哺更好记忆。

五、实验结果：数字不说谎

1. WebArena 成功率 & 步数

表 1：5 个子域平均，ReasoningBank 稳定领先

Gemini-2.5-Pro backbone：↑7.2% 绝对成功率，步数 ↓1.4

跨域 Multi 任务 （最硬核） ：仅 ReasoningBank 还能涨，其他记忆方法直接翻车。

2. SWE-Bench-Verified 修 Bug

表 2：代码补丁分辨率，↑3.4~4.4%，步数 ↓2.8

3. Mind2Web 跨站/跨域泛化

表 3：Cross-Domain 成功率翻倍，元素准确率 ↑4.8

六、失败样本有多香？一图胜千言

图 7：加入失败轨迹后，仅 ReasoningBank 能继续提升（49.7↑from 46.5），其余方法原地踏步甚至掉分

七、记忆也会“进化”！ emergent strategy 案例

图 6：同一条记忆从“点按钮”→“自检元素”→“交叉验证”逐步长复杂，像 RL 的策略演化

八、局限 & 未来方向

当前局限

未来可卷

仅关注 记忆内容 ，未对比层次/ episodic 结构

多层记忆 + 自适应检索

LLM-as-a-Judge 可能噪声

引入人类或更强 verifier

记忆条目 线性拼接 ，无组合推理

可组合/可宏调的 Memory DSL