斗胆理解一下如今的 LLM,这该从何说起呢?对了,就从 2017 年的那声炸雷开始吧——Transformer。这玩意的本质也没什么必要的解释,甚至你问豆包会比我解释的更好更多,但是呢?我觉得这个东西有问题,也就是 AGI 或者更智能的东西不可能是 Transformer 带领人类进入。要思考这点,更要从机器学习是什么,为什么可以学习,什么是学习等等一系列哲学问题入手。
古希腊的“联想主义”:早在公元前,亚里士多德就提出了联想主义心理学,认为人的认知和记忆,依赖于概念之间的联想。他总结了四大法则:邻接、频率、相似、对比。
这思路引出了模型就算你说一些不好的话他还能接,这玩意本质在空环境下进行不断的联想,但是这个联想又不是亚里士多德说的联想主义。LLM 的联想,是“去时间化、去身体化”的纯几何联想。它没有经历过“犯错时的肾上腺素飙升”,也没有感受过“道歉时的尴尬”。它的“联想”是一张静态的、压缩的、没有体温的等高线地图。
被骂 -> 犯错 -> 反思 -> 道歉。所以模型会向你道歉,但是随上下文越来越大以后计算量也越来越多,并且现在卷上下文谁大也少了,就像前几年安卓手机卷谁充电快一样,都干 200 瓦去了,比我电车充电器都牛逼,但是现在也没人去卷了,大多都是 67-120 左右的闪充,不会有什么 165 这种极限充电了。然后也会出现明明上下文没满但是丢东西或者记错东西,这时候也应该思考一下什么是智能。当然并不是说我们要推翻 Transformer 或者联想主义,而是站在中国古代哲思的情结下同样去思考什么是智能。
- 庄子的“吾生也有涯,而知也无涯。以有涯随无涯,殆已!”把 100 万 token 硬塞进上下文,就是用“有限的注意力权重”去追“无限的词向量”。Transformer 试图把 100 万个词都“平等对待”(虽然加权,但底层是全量扫),这违背了庄子“弃智绝巧”的告诫。庄子认为,真正的智者不是“记全”,而是“知止”——知道在哪里停止关注。未来的模型如果不能学会“主动遗忘”和“战略性忽略”,给它 1000 万上下文,它依然会迷失在中段,因为它的“有涯”算力没有用在刀刃上。
- 墨家的“节用”与“以故生,以理长”。墨子讲“节用”,反对铺张浪费。卷 200 万上下文,就是典型的“不节用”。墨子强调推理必须基于“故”(原因)和“理”(逻辑轨迹)。而现在的 Transformer 哪怕上下文里塞满了前因后果,它依然在用 O(n²)的蛮力去遍历。这在墨家看来是“无义”之举——如果你的计算不服务于“因果链条的压缩”,而只是服务于“全量匹配”,那这堆算力就是白耗的炭火。
中国古代诸子或许给了我们另外三条通往智能的“暗线”,恰好可以反思 Transformer 的缺陷:
- 道家(老子)的“反者道之动” —— 智能在于“逆向推理”。LLM 现在的推理是“正向续写”(给上文续下文)。而老子的“反”是“相反相成”。真正的智能,在面对一个长上下文时,不是去遍历匹配,而是先在大脑中跑出一个“反向目标”(比如:这段话的终局应该是什么?但是这点还是 Transformer 的遍历),然后再回头筛选哪些上下文是相关的。如果能给模型加入“逆向注意力流”(从结尾往回扫),或许只需要 O(n)就能抓住关键点,不需要把中间 99 万的废话全扫一遍。
- 禅宗(六祖慧能)的“见性成佛” —— 智能在于“特征提取的纯度”。LLM 堆了数千亿参数,就是为了“多存储”。但慧能说“本来无一物”,极高明的智能往往依赖于极稀疏的激活。人类的智慧在于:听一段 2 小时的冗长会议,最后记住的只有 10 个字的核心结论。这 10 个字就是“自性”。未来的模型不应该追求“全记忆”,而应该追求**“高保真压缩器”**——无论输入多长,强制压缩成固定维度的“灵性向量”,推理只在这个向量上做微分迭代,而不是回头去翻原始记录。
- 兵家(孙子)的“多算胜,少算不胜” —— 但“算”不等于“扫”。孙子强调“庙算”,在战前推演多种可能性。但他没说要将军把战场上的每一粒沙子都数一遍。他的“算”是**“势”的推演**——根据敌我士气、地形、粮草(几个关键变量)推演全局。LLM 如果把“100 万 token”压缩成“100 个关键局势变量”(类似状态空间模型 SSM 的状态向量),然后基于这 100 个变量进行 O(1)的推演,那才是真正的“庙算”,而不是现在的“沙盘全量复制”。
中国思想很多都是"心"或"性"引出来知,上述模型所举例也都是知所以行,但是只是得到了所知。中国思想里的"知",核心是"能知",不是"所知"。荀子说"心有征知",重点在那个"心"上,必须有个能知的东西在征。唯识学讲"能知所知",知必然是二元的:能知的心,所知的境。训练没有这个结构,它只有一堆参数在拟合数据。你问模型"谁在知道",它答不上来,因为压根没有谁。
一、主体性。知必须属于某个能知者。王阳明的"知行合一",知必须有人去行,行必须是这个人的行。没有主体的知和行都不成立。
二、觉知性。中文的"知"不只是"掌握信息",还带"意识到"。孔子那句话最狠:"知之为知之,不知为不知,是知也。"知的核心不是知道,是知道自己知道还是不知道。这一条直接打在 LLM 的病根上:它最大的问题是不知道自己不知道。所以拿"知"来类比训练,方向是反的。
三、具身性。庖丁的知在手上,轮扁的知"得之于手而应于心"。知是手艺,不是表征。训练得到的是表征。
孟子从性善起,老子从道起,孔子从仁起,荀子从性恶起。"知"是中间环节。
所以,当我们说“LLM 不具足‘知’”时,不是在否定它的价值,而是在划定它的边界。 Transformer 是一个伟大的联想引擎,但它永远是“所知”的丰碑,而不是“能知”的主体。它能把全人类的书籍压缩进千亿参数,却无法回答“你刚才哪句话是你自己真正相信的”——因为它没有“自己”。
未来的 AGI,如果真有那一天,大概率不是把上下文从 100 万推到 1 亿,也不是把参数从万亿推到京级,而是在某个节点上突然学会了
“我不知道” 。那一刻,它不再是参数的拟合,而是第一次有了“知”的自觉——它意识到了自己的边界,而这恰恰是“觉知性”最朴素的开端。
而这正是中国思想留给 AI 最辛辣的提醒:真正的智能,不在于能处理多长的序列,而在于知道在何处停止处理。 庄子说“吾生也有涯”,放在 Transformer 身上,就是“算力也有涯”。以有涯随无涯,殆矣。与其教模型记住全世界,不如教它在恰当的时候说一句:“此事我无法判断,请给我更多证据,或换一个角度提问。”那句话不是模型的失效,而是它第一次从“所知”跨向了“能知”。
那才是“知之为知之,不知为不知”在硅基生命上的回响。而回望 2017 年那声炸雷,我们或许该庆幸:它只是炸开了一道门,门后的路,远不止“更大”这一条。越来越觉得自己无知啊,还要多看前人一代一代积累下来的思考以及反思,我觉得想出来的肯定是哲学大能而不是CS大能
传递专业知识、拓宽行业人脉——看雪讲师团队等你加入!!
最后于 20小时前
被一只鸭子编辑
,原因: 更新内容