0. 承接第三篇
第三篇从图灵机的纸带出发，沿着自动机谱系一路向下，分析了状态、栈和全局纸带三种记忆范式。结论很明确：栈是精确的、确定性的刚性记忆——后进先出，压入弹出，一丝不苟。但LLM需要的是另一种记忆：内容可寻址、全局可访问、动态可调整。栈有三个具体局限：只能访问栈顶，无法跨帧关联，记忆不可修正。每一个局限都恰好是LLM必须突破的。
那么LLM的记忆到底是什么？它为什么能做到栈做不到的事，却又会在几十轮对话后“忘记”用户开头说过的话？
1. LLM的记忆结构：上下文窗口与KV缓存
1.1 上下文窗口：一块有限的“纸带”
从自动机谱系的视角看，LLM的上下文窗口是图灵机纸带的一个有限子集。纸带是平坦的、全局可访问的记忆空间。上下文窗口也是平坦的——所有token处在同一层级，没有栈帧的分层结构，没有LIFO的访问限制。
区别在于访问方式。图灵机的读写头通过逐格移动来定位——走多少步到哪个位置，这是位置寻址。LLM不靠位置找信息。它靠内容本身。你想找“不吃香菜”这条信息，不是因为它存储在上下文窗口的第几个token，而是因为它和“推荐菜谱”这个查询在语义上相关。
上下文窗口的大小有限，超出窗口的token被截断抛弃。这是LLM“遗忘”最直接的原因。但即使信息还在窗口内，也可能被“遗忘”——那是注意力机制内部的问题，我们稍后会看到。
1.2 KV缓存：将历史信息编码为可检索的键值对
每次LLM生成一个token，它都要重新审视整个上下文。如果每次都从原始token开始计算，开销会随对话长度线性增长。KV缓存就是为了解决这个问题而引入的。
在Transformer的每一层，每个token会生成两组向量：Key和Value。Key是这个token的“索引”——它携带了这个token在语义空间中的位置信息，用来被后续的查询向量匹配。Value是这个token的“内容”——它携带着一旦被匹配后需要提取的语义信息。这些Key和Value被缓存在GPU显存中，后续生成步骤直接读取，不需要重新计算。
KV缓存不是“外部记忆库”。它存储的是注意力机制的中间计算结果，是模型内部状态的一部分。与程序栈的对比恰好能说明这一点：程序栈通过地址和栈帧保存状态——返回地址、局部变量、参数值，每一个都有精确的物理位置。KV缓存通过向量保存状态——每一对Key-Value都是高维空间中的一个点，没有一个固定的“地址”。栈靠位置检索，KV缓存靠相似度匹配。
如果说上下文窗口和KV缓存是LLM的“记忆库”，那么注意力机制就是这个记忆库的“读写头”——它决定了哪些记忆被读取、以什么方式被整合。接下来拆开这个读写头。
如果借用地理隐喻，上下文窗口是模型的视野半径——它决定了模型能“看到”多远的过去。KV缓存则是沿途插下的路标——每经过一个token，模型计算它的Key和Value并保存下来。后续生成时，模型不需要重新遍历整条路径，而是直接读取路标上的预计算坐标。上下文窗口截断的本质，是视野半径被迫缩短，旧的路标被物理丢弃——不是因为内存满了，而是因为视野之外的坐标失去了被检索的意义。
2. 注意力机制：内容可寻址的读写头
2.1 从地址可寻址到内容可寻址
传统计算机的记忆是地址可寻址的。给定一个内存地址，读取该位置存储的值。程序栈是最典型的地址可寻址——LIFO规则锁定了“栈顶”这个唯一可访问的地址。要访问栈底，必须先弹出上面所有内容。地址决定了访问权限。
注意力机制的记忆是内容可寻址的。给定一个查询，在所有存储中搜索与查询最相似的条目，然后聚合这些条目的值。
用图书馆做类比：地址可寻址是“请去第3排第5层拿那本书”——你不需要知道书名，只要知道位置。内容可寻址是“请帮我找关于图灵机的书”——你不知道书在哪里，但你知道要找什么。查询是你的需求，目录是每本书的索引信息，书本身是你要获取的内容。
数学上，自注意力的核心操作是一次加权求和：
Attention(Q,K,V)=softmax(dkQKT)V
当前生成步骤的查询向量Q，与上下文窗口中所有token的键向量K做点积，得到一组相似度分数。softmax将这些分数归一化为权重。然后用这些权重对值向量V进行加权平均。
Q、K、V不是三个独立的步骤，而是同一个操作的三个参数。Q决定“我要找什么”。K决定“每个位置有什么可以匹配”。V决定“匹配上了返回什么”。softmax加权求和这个单一操作，同时完成了“匹配”和“聚合”。
一个必要的注记：位置如何进入内容？
纯粹的“内容可寻址”有一个盲区：如果只按语义相似度检索，模型如何区分“我昨天吃了苹果”和“我前天吃了苹果”？这两个句子的语义几乎相同，只是时间位置不同。
Transformer的解决方案是旋转位置编码（RoPE）。它在计算Query和Key的点积之前，对向量施加一个旋转操作——旋转的角度正比于token在序列中的绝对位置。这个旋转不改变向量的长度，只改变它在高维空间中的方向。结果是：两个语义相同但位置不同的token，它们的Key向量被旋转到了不同的方向。当Query与之计算点积时，模型不仅能匹配“苹果”的语义，还能感知“这个苹果在上下文的哪个位置”。
RoPE将“地址”（位置）编码为向量内部的“偏振角”——位置变成了内容的一部分。模型不是在纯粹按地址找，也不是纯粹按语义找，而是在按“带有位置标签的语义”找。这是Transformer在记忆访问效率上远超纯内容可寻址系统的核心原因之一。
2.2 注意力如何打破栈的局限
第三篇分析了栈的三个具体局限。注意力逐一打破了它们。
只能访问栈顶？ 注意力的查询向量可以跳跃到上下文窗口内任意位置的Key。窗口内的每一个token，无论位置先后，都有机会被匹配。对话开头那句“不吃香菜”，与当前查询“推荐什么菜”，即使相隔几十轮，注意力也可以直接建立关联。不需要先弹出中间的对话——中间信息保留不变，只是注意力权重分配给了远端的Key。
无法跨帧关联？ 查询向量同时与所有历史Key计算相似度。相隔十层的两条线索，在权重矩阵中被并置为两个高相似度的条目。栈的LIFO顺序束缚了关联的拓扑结构，注意力让关联本身成为检索的驱动力。
记忆不可修正？ 注意力的权重是动态的。新信息进入后，同一个token的语义表征在上下文交互中被重新解释。“苹果”在“苹果很好吃”的上下文中，经过自注意力与“吃”“甜”“水果”等token交互，被拉向“食物”的语义方向。在“苹果发布了新手机”中，经过与“发布”“新手机”“科技”的交互，被拉向“科技公司”的语义方向。初始嵌入完全相同。改变的不是存储，是关联模式。这正是栈永远做不到的——栈中的“苹果”只是一个固定符号，它的“含义”由程序员在编译时决定，而非由上下文动态生成。
2.3 同一符号为何有不同的“理解”——Transformer视角
“苹果”的语义漂移不是魔法，是Transformer架构三个设计共同作用的结果。
嵌入层为每个token提供了初始的上下文无关表示。同一个token“苹果”的初始嵌入是固定的，不管它出现在什么句子中。这是“苹果”这个符号最原始的形态——尚未被上下文影响。
多头注意力打破了这个固定性。每个注意力头可以学会关注不同类型的关系。有的头关注语法结构——形容词与名词的依存关系。有的头关注语义关联——同义词、上下位词、常识推理。有的头关注位置邻近——相邻token之间的局部模式。同一个token在不同头中获得不同的解读，这些解读并行存在，同时参与后续计算。一个头可能把“苹果”关联到“很好吃”，另一个头可能把“苹果”关联到“手机”——两个关联在模型内部并存。
残差连接让信息可以在不同层级之间流动。低层的局部语法信息可以通过残差路径直接传递到高层，高层的抽象语义信息也可以回传与低层细节融合。这意味着“苹果”的最终表征不是某个单一路径的产物，而是多层、多头、多路径信息的综合。层归一化稳定了每一步的数值范围，使得这种动态修正常态化，不会出现梯度爆炸或梯度消失。
综合起来，内容可寻址记忆赋予了符号“活的”语义。同一token在不同上下文中获得不同的内部表征。改变的不是存储的内容，而是内容的关联模式。
3. 软记忆的必然性、代价与能力边界
3.1 为什么LLM必须使用软记忆
程序栈的精确性依赖于一个前提：程序员在编译时就知道哪些数据需要保存、以什么顺序保存、在何时取出。返回地址是固定的，参数数量是确定的，局部变量的生命周期被编译器精确管理。
开放域对话中，这些全部无法预知。你不知道用户下一句会说什么。你不知道对话开头的“不吃香菜”在第十轮推荐菜谱时会不会成为关键约束。你不知道哪些看似无关的细节会在后面的推理中突然需要被关联。栈模型要求你预先组织好记忆的结构，而对话推理中结构本身是随着对话进程不断涌现的。
在这种不确定性下，内容可寻址是唯一可行的检索策略。你只能根据“当前需要什么”去历史中搜索，而不是根据“存储了什么”去预定访问路径。这是高维语义空间对记忆访问方式的根本制约：硬性的地址索引已经不再适用，必须通过内容本身来索引内容。
3.2 软记忆的代价：动态性、随机性与不可靠性
第三篇分析了图灵机三种记忆范式各自付出的代价：状态容量固定，纸带管理成本高，栈只能线性回溯。软记忆同样不是免费的。它用动态性、随机性和不可靠性，换来了灵活性和全局关联能力。
动态性。每次生成一个token，模型重新计算整个上下文的注意力权重。即使上下文完全不变，当前生成状态——即查询向量Q——在每一步都是不同的。这导致关注焦点随生成进程不断转移。引子中的“金鱼记忆”正是动态性导致的失效：天气信息还在窗口中，没有被删除，只是在生成推荐菜谱的那一刻，注意力权重没有覆盖到它。信息未被弹出，只是未被看见。
随机性。前向传播计算的logits是确定性的——相同输入，相同模型参数，logits完全相同。但现代LLM在生成阶段通常使用采样策略：温度参数可以平滑或锐化概率分布，top-p和top-k采样限制候选token的范围。这些策略在确定性计算的基础上引入了随机性。相同的上下文，两次采样可能产生不同的输出路径。这种随机性是生成多样性的来源，但也放大了“遗忘”或“跑偏”的可能——一条早期被随机选中的低概率token，可能将整个生成引向一条注意力从未聚焦过的歧路。
不可靠性。注意力权重是连续的、概率性的。关键信息和噪声信息之间不存在硬性的“读/不读”分界线。重要的事实可能被周围无关的token稀释——权重分配给了一堆近似匹配但不够精确的Key。没有机制保证“这个事实必须被关注”。栈的刚性规则——弹出即消失，返回即恢复——反而排除了这种模糊性。
不可靠性的几何根源
这种模糊性有一个更根本的数学原因：高维空间的“近邻模糊性”。当向量维度极高时，任意两点之间的距离趋于均匀化——几乎所有Key都与Query“差不多近”，或者“差不多远”。这意味着Query向量划出的“搜索球”极有可能同时命中多个语义上略有差异的Key。“苹果（水果）”和“苹果（公司）”的Key向量在高维空间中可能相距不远，一个微小的上下文变化就足以让注意力权重在两者之间漂移。
这不是模型的缺陷，而是高维语义空间的几何必然。在连续的高维空间中，边界注定是模糊的——没有硬性的“读/不读”分界线。一个向量很难精确地只匹配“苹果（水果）”而不匹配“苹果（公司）”，除非上下文信号足够强（即通过多层前馈网络把向量推离模糊区）。栈的刚性规则反而排除了这种模糊性——它不依赖向量距离，只依赖物理地址。
3.3 回扣可计算性边界
注意力机制的所有操作——矩阵乘法、softmax、加权求和——都落在图灵可计算的范围内。它没有让LLM计算“更多”的函数。在理论能力上，一个带有注意力机制的LLM与一台普通的图灵机，可以计算完全相同的函数类。
但它让LLM更“高效”地访问记忆。图灵机走五十步到达纸带目标位置，注意力机制一次矩阵乘法完成全局检索。这种效率差异，在工程实践中足以决定一个任务能否被完成。理论能力没有改变，计算的现实形态却截然不同。这正是中篇所论述的“数学不关心内容，只关心结构”的另一种体现：可计算函数的边界是一个结构，而记忆的访问方式决定了这个结构在现实中的可用性。
4. Agent的记忆困境与当前实践
4.1 精确回溯 vs. 灵活关联
Agent同时需要两种能力。多步工具调用要求精确回溯：第一步调了什么API，传了什么参数，返回了什么结果——这些信息必须像栈帧一样精确可靠。多轮对话中隐含需求的关联又要求灵活跳跃：用户在第五轮说的一个偏好，可能与第三轮的一个隐含需求相关，这种关联需要内容可寻址的全局检索，而非LIFO的顺序访问。
单一的栈机制太刚性。单一的注意力机制太柔性。Agent的记忆困境由此而来。
4.2 混合记忆架构：按层级组织的实践
上述讨论的KV缓存和注意力机制，都是模型内部的“计算记忆”——它们服务于单次前向传播的效率，不跨越会话边界。当视角从单个模型扩展到Agent系统时，还需要引入持久化的外部记忆。
有趣的是，外部向量库的检索机制与内部注意力在数学上是同构的——都是通过向量的相似度（余弦相似度或点积）来检索相关信息。但有一个关键差异：内部注意力的Query是动态生成的——它取决于当前隐藏状态，同一个token在不同生成步骤中可能发起不同的查询。外部向量库的Query往往是固定的——用户的问题嵌入，或当前上下文的聚合向量，缺乏Attention那种随生成步骤逐步聚焦的细粒度调整。这一差异正是Agent记忆设计中“精确回溯”困境的数学根源之一。
当前的Agent架构实践，本质上是按记忆的层级来组织不同的存储机制，试图在刚性与柔性之间找到平衡。
短期记忆是上下文窗口本身。最灵活，也最不可靠。窗口内的任何信息都可以被注意力覆盖，但注意力是否真的覆盖，没有保证。适合存储当前任务的最新信息，不适合长期依赖。
中期记忆是KV缓存。随对话增长而累积，会话结束后清空。它是注意力机制的速度优化——避免了每次重新计算历史token的开销。但它的生命周期与单次会话绑定，不能跨会话持久化。
长期记忆是向量数据库和知识图谱。信息被持久化存储在外部，通过语义相似度进行内容可寻址检索。这弥补了上下文窗口大小限制和KV缓存会话绑定的问题。用户半年前说过的话，如果被存储为长期记忆，可以在今天的对话中被检索到。
元记忆是反思模块和记忆修正策略。它不直接存储信息，而是管理信息的取舍和更新——哪些记忆值得长期保存，哪些需要修正，哪些已经过时。Reflexion、MemGPT等架构的核心思想就在这里：让Agent不仅拥有记忆，而且拥有对记忆的管理能力。
这些混合架构本质上是在桥接栈与注意力——用外部结构化的记忆库弥补注意力的不可靠性，同时保留注意力的灵活性。但更深层的问题也在浮现：我们是在两种机制之间打补丁，还是需要一种全新的记忆结构？
4.3 设计挑战与开放问题
写入策略面临记忆选择问题。对话过程中，哪些信息值得从短期记忆提升为长期记忆？如何避免噪声淹没关键信息？当前实践大多依赖启发式规则或简单的阈值判断，但一个真正智能的记忆系统，应该根据后续使用情况动态调整写入决策。
修正策略面临一致性维护问题。长期记忆中的某些信息可能与新接收的信息冲突。用户一年前说“不吃香菜”，今天突然说“最近开始喜欢香菜了”。如何高效更新这一条记忆，而不破坏与之关联的旧推理链？这在数据库系统中是经典的数据一致性问题，但在语义记忆层面尚无成熟方案。
更深层的问题是：是否需要一个全新的结构来替代堆栈？ 图灵机的无限纸带确立了地址可寻址的范式。PDA的栈在此基础上增加了结构化记忆，但LIFO规则限制了其灵活性和扩展性。LLM的注意力机制走向了内容可寻址的另一个极端，但牺牲了栈的精确性，模型仍然依赖上下文窗口这一“纸带”来承载序列化信息。当前的混合架构本质上是在纸带之上重建结构化的记忆管理——这是补丁，不是新范式。是否存在一种原生的记忆结构，既能像栈一样精确保存状态序列，又能像注意力一样按内容关联跳跃检索，同时支持跨时间的持久化和高效修正？这个问题没有现成答案，但它指向的，或许正是下一代AI系统在记忆层面的核心突破。
5. 收束：软记忆的认知隐喻与“金鱼记忆”的必然性
人类记忆也是内容可寻址的。我们不是靠“这是第几分钟发生的事”来回忆，而是靠相关线索激活记忆。你闻到一阵桂花香，忽然想起童年的某个秋天——不是因为那个记忆存储在第几号神经元，而是因为“桂花香”这个线索在内容空间中击中了那个遥远的记忆片段。
人类的记忆每次被激活，都是一次重新构建。目击者证词的不准确性，正是内容可寻址记忆的代价：每一次回忆都是将线索与存储碎片重新组装，而非从固定的地址取出不变的比特。动态性、随机性和不可靠性并非记忆系统的缺陷，而是内容可寻址检索的必然副产物。
LLM的“软记忆”在此意义上更接近人类记忆。它灵活、动态、善于发现远距离的语义关联，但也会丢失信息、扭曲细节、在不同时刻对同一段上下文产生不同的解读。
回到开篇的“金鱼记忆”。LLM忘记“不吃香菜”，不是因为它没有存储这条信息，而是因为在生成推荐菜谱的那一刻，注意力没有覆盖到它。这不是Bug，而是内容可寻址记忆运作方式的必然代价。理解这一点，不是为了给遗忘寻找借口，而是为了找到改进的起点——既然软记忆的遗忘源于关联的动态性，那么改进的方向就不是“让注意力更刚性”，而是为关键信息设计冗余的存储路径，让它在多个检索线索下都能被触达。
如果说图灵机确立了计算的边界，那么注意力机制正在重新定义记忆的边界——不是计算“什么”的边界，而是计算“如何”被实施的边界。而那个尚待发明的、或许能兼具栈的刚性与注意力的柔性的新记忆结构，或许正在这个边界的交汇处孕育着。
[招生]科锐逆向工程师培训(2026年7月3日实地，远程教学同时开班, 第56期)！
