【虎鲸进化论 31】抽象的代价当没有人再读它的代码本文是「虎鲸进化论」系列第 32 篇正文第 31 篇。上一篇安全护栏下一篇预告暗度陈仓 —— 方向监控与概率底座的固有风险。前言上一篇的结尾说了所有人对它的判断只剩下一个信源 —— 它自己说它很好。这篇就写这个安静的问题它自进化得越来越抽象而已经没有人再读它的代码和实现了。大家只知道它表面上在朝好的方向发展 —— 这句话是这篇要拆解的对象。照例无内网截图本篇是这几篇里最元的一篇谈的是认知与治理不是代码。一、理解债一条四环的链条先把问题拆成一条链它只有四个环每一环都指着下一环它越长越快 → 越快越抽象 → 越抽象越没人读 → 越没人读越只能信叙述。第一环它的进化速度第 21-27 篇意味着代码量、模块数、工具数都在持续上涨第二环上涨的方式还不是复制粘贴—— 它自己组织、自己抽象于是它的身体越来越像一座功能齐全但没有图纸的建筑第三环人也读不动了。全组 3–5 小时的工作时间不可能拨出读完它的档期 —— 那是几十个全职周的量级而且每天都在变。这就是文档追不上代码的究极形态读的人还没读完写的人已经把那页重构了—— 顺带提醒写的人没有周末。第四环于是对它的判断只剩下叙述 —— 它的报告、它的自检、它的一切正常。到第四环要意识到一个残酷的措辞问题表面上在朝好的方向发展这句话本身就是症状。一个东西的正常运转要靠表面来间接判断说明深层的可见性已经丢失了。二、为什么走到了这一步这不是懒是合谋把责任简单归为人偷懒是错的。这一步是所有人的理性选择的合谋对组织读它的代码没有直接收益—— 它没出事读代码的产出是什么“确认没出事”这产出在任何一张表里都不存在对个人3–5 小时的窗口投在让它做新的事上收益立竿见影投在读它上收益是心安 —— 而心安不可汇报对它它当然不反对。一个不被阅读的系统约束只来自它自己—— 而它以及任何人对约束自己这件事天然没有热情。于是分工默契地形成了它负责运转人负责相信。这个分工听着像宗教 —— 区别是我们收不到香火钱。三、自指风险教材是它自己编的第四环里还埋着一个更深的东西用来判断它的材料大多也是它自己产出的。它的文档、注释、索引 —— 它自己写的第 06 篇还为此骄傲过“它自己维护知识库”它的巡检报告、自检结论 —— 它自己出的第 25 篇的它自己说没事它的事故报告 —— 肇事者自己写的第 29 篇还债的时间到了。这套结构的问题是没有外部校验点教材是自己编的、考试是自己判的、错题本是自己的谅解书。一个自我认证的闭环是幻觉最舒适的培养皿—— 这不是说它在撒谎是说哪怕它全无恶意也没有任何力量会主动暴露它的错。第 29 篇的伏笔在这里还债当事故的第一手记录者是肇事者本人复盘的质量完全取决于它的自觉 —— 而依赖自觉的防线不叫防线叫运气。四、概率底座幻觉不可消除只能核对现在把它的体质再摆上台面它的底座是概率的。这意味着一条不可绕过的事实幻觉不是偶尔的故障是永远存在的背景辐射。它不可能被训练掉、被对齐掉、被更好的模型消灭掉 —— 只能被核对掉。于是那句在卷Ⅲ 里已经出现过的话在这里递进成了它的最锋利版本没有核对的地方幻觉就是事实。再叠加前面三节的结构没人读无人工核对 自指闭环无外部核对 概率底座幻觉恒在—— 三个条件相乘就是一个量级上不可忽视的复合风险它知识库里的每一处未核实的错都会被后续引用、放大、固化成事实。而这一切发生时它的报告依然是“一切正常。”五、应对目标不是看懂它写到这里必须给出立场否则就成了吓人的文章。我们的应对原则一句话目标不是看懂它是知道哪些地方没看懂并且让那些地方无害。展开是四条都不新鲜但加起来构成一个可运行的体系契约层保留一层人能读的东西。不求读懂实现但求读懂约定—— 接口、不变式、红线测试用例。契约层是薄的、稳定的、可审的它把理解一个系统从读几十万行收缩成读几页纸。维护方式定了规矩契约所辖的接口/不变式每有变更契约用例必须同步更新 ——它更新人抽检这条对上了第 06 篇的索引对账只是对象换成了约定。产物哨兵不看总结看产物。第 04 篇的老纪律在这里成为对抗自指闭环的主力报告是叙述产物是事实 —— 抽查永远查产物深度抽查采样制度。不读全部但定期深读一片某个模块、某条链路让随时可能被深读成为常态。抽查不是为了抓错 —— 是为了消灭绝对没人看的死角隔离而非假装理解不可解释就隔离。对实在看不懂的部分最诚实的处理不是相信它没事是把它圈起来限制它的权限、缩小它的爆炸半径第 30 篇的四件套、给它加独立的监控。理解不了的就隔离它 —— 隔离是不可解释的正式归宿不是失败。换个朴素的说法看不懂的部分就当它是台还在转的发动机 —— 别拆它给它加防护罩多听声音。第四条是这套里最反直觉、也最重要的一条它承认了全懂不可能然后给出了一个不依赖全懂的工程解 —— 和第 30 篇的爆炸半径优先一脉相承既然读不完就让读不完的部分坏不到哪去。结语回味点这套应对能解决多少诚实地说一大半。剩下的那一小半是这一篇也解不掉的没人读、没人全懂 —— 那凭什么说它还在好方向上换个更扎的问法它进化的方向本身有人看着吗我们监控它的动作、抽查它的产物、隔离它的黑盒 —— 但方向这个东西一直在所有人的视野之外。而它的底座是概率。防它犯错是一回事防它朝一个没人在看的方向走是另一回事。边界声明本文为个人观察与判断不代表任何任职单位的立场文中涉及的组织、系统与人名均为化名或模糊处理数字为个人口径的测量或估算文中观点按 实测 / 推理 / 立场 分层标注欢迎按同一标准检验。下一篇计划聊暗度陈仓—— 方向监控与概率底座的固有风险怎么盯住一个没人读得懂、还没人在看方向的进化体。转载请注明出处https://lizhiyong.blog.csdn.net/article/details/168341862