这几年的深度学习热度已经算不上新闻了。但真正把“深度学习”这四个字讲清楚的文字反而不多。很多人知道神经网络厉害却不知道它经历了三次起起落落才走到今天知道训练要大算力、大数据却不知道这三者跟算法是如何互相掐架又互相托底的也知道深度学习是“受大脑启发”却不清楚它跟神经科学之间到底谁欠了谁的中间闹过多少误会。上篇聊了深度学习的源流从早期神经元模型一直讲到联结主义学派如何被边缘化。这篇咱们接着把这摊子事儿往后捋重点拆三个东西三次浪潮是怎么一浪接一浪的三大驱动力缺了谁都不行以及深度学习跟神经科学之间那点“效仿、叛逃、又暗通款曲”的恩怨。适合两类人看一是想系统梳理深度学习来龙去脉的非算法从业者二是学了很多工程细节但不太了解历史背景的开发者和研究者。理解历史不是考古它直接决定你现在做的很多取舍到底站不站得住脚。1. 三次浪潮深度学习不是一夜爆红而是起落三轮1.1 第一波浪潮神经元模型的“过度自信”早在上世纪中叶就有研究者从脑科学的角度提出了“神经元计算”的概念。后来另一位学者拿电子线路模拟了单个神经元的输入输出关系做成了历史上第一个可学习的模型——感知机。这个东西现在看很简单输入加权求和经过一个阈值判断输出0或1。但它启发了一个极其重要的思考方式也许智能不需要被编写成规则而是可以通过调整“权重”自动从数据里学出来。当时学界有多乐观呢某位开创者直接在公开场合说过类似“用不了多少年就能制造出真正的机器大脑”的话。你听这个口气就知道第一次浪潮为什么很快就撞了墙。感知机能解决的只是线性可分问题一个最简单但最致命的异或逻辑它就怎么都学不会。后来的教科书都喜欢把这笔账记在“异或”头上实际上更深层的原因是单层模型表达能力有限而当时根本没有算力去支撑多层模型的训练试探。到六十年代末一篇质疑性的理论文章发表后美国联帮科研经费迅速从神经网络撤走第一波浪潮基本是“被拨冷水泼灭的”。1.2 第二波浪潮反向传播带来的“短暂复兴”如果说第一波浪潮是“结构太简单”那么第二波浪潮的核心突破就是把“多层”训练重新拉回舞台中央。八十年代一种通过链式求导反向逐层调整权重的算法——误差反向传播被多位研究者独立重提并带入实际操作中。从此神经网络可以拥有隐含层可以拟合非线性函数。这在做模式识别的人眼里简直是“学习机器”重新有了生命。但第二波浪潮的生命周期很短原因也很现实。反向传播说起来漂亮真正训练一个稍微深一点的网络在当时的工作站上要跑几天甚至几个星期。数据量不够没有GPU用的都是让神经网络连一些小规模的字母识别都磕磕绊绊。与此同时基于核方法的分类器就是后来在统计学习里非常风光的某类方法在多个任务上表现更好而且有深厚的数学理论撑腰。那几年神经网络的研究者出去申请基金评审人几乎默认这类工作是“过气把戏”。很多研究者怕影响毕业和晋升悄悄把论文标题里的“神经网络”改成了“联结系统”或者干脆转向其他方向。1.3 第三波浪潮这一回是“规模化”的胜利第三波潮头真正卷上来大约是在二十一世纪第一个十年之后。这波浪潮跟前两波最不一样的地方在于它没有提出完全颠覆性的学习范式而是把前两波积累的BP、CNN、RNN等老概念拿更大算力、更大数据量、更好的工程技巧重新“喂”了一遍。结果在某个大型图像识别竞赛上一个深度卷积网络把错误率降掉了将近一半震撼了整个计算机视觉圈子。从此深度学习全面覆盖语音识别、自然语言处理、自动驾驶、蛋白质结构预测一路滚到今天的大模型。所以有人总结说第三次浪潮本质上不是“理论革命”而是“规模革命”。前两波都是在实验室里“小打小闹”第三波则是把实验室的东西搬到了工厂的流水线上用海量数据和并行计算把模型“撑”了起来。这也解释了为什么神经网络总是“越深越好”——当然不是无限深但足够深的网络配合足够多的数据确实能学到人类难以手工设计的弱特征。2. 三大驱动力算力、数据与算法的“合谋”2.1 算力从CPU到GPU再到专用芯片把算力放在最前面不是因为它比数据和算法高级而是因为它是“卡点”卡得最明显的一个。早期训练一个两层的感知机用CPU模拟几百次迭代还能忍可一旦网络层数超过五六层权重数量上百万反向传播里每一步都要做矩阵乘CPU串行计算根本扛不住。到第二波浪潮后期有些研究者已经意识到“深度学习在数学上没什么问题就是算力跑不动”。后来图形处理器GPU被开发者偶然发现特别适合做矩阵运算。GPU是设计来并行处理像素的每个核心虽然弱但架不住数量多矩阵乘法的每个元素刚好可以分给不同核心同时算。这一下就把神经网络的训练时间从“周”缩短到了“天”再到“小时”。再往后某科技巨头研发了专用AI芯片进一步把矩阵运算固化到硅片上训练规模才得以指数级扩张。你看今天大模型训练动辄几千张加速卡互联就是这个逻辑的极致化。2.2 数据从人工收集到互联网海量数据算法再强算力再猛没有数据等于没米下锅。深度学习比传统机器学习更“贪吃”因为它的特征不是人设计出来的而是要网络自己从大量样本里统计出来。这意味着样本数量不光要多还要能覆盖足够多变的模式。互联网时代给数据提供了两个便利一是数据总量变大了二是数据可以被低成本采集、清洗、打标。早期做手写数字识别研究者为了凑几千个样本还得找邮局要信件信封到了图像识别竞赛时代大规模数据集里的图片数量直接到了百万级。有了这个量级的数据深层的卷积网络才能从底层边缘纹理逐级组合出高级语义。甚至有研究显示某个领域的神经网络性能随数据量增加而持续提升并没有明显饱和点。这就鼓励后续的大模型继续堆数据、堆参数。2.3 算法从反向传播到注意力机制算力和数据是“肌肉”和“食物”算法是把它们组织起来的那套神经指挥系统。反向传播是基础但它在深层网络上有两个致命弱点一是梯度会逐层衰减接近输入层的权重几乎没信号更新二是梯度容易爆炸参数乱跳直接让训练发散。于是后续二十年里算法研究者干的主要事情就是“给梯度修路”。修路的手段包括把激活函数换成整流线性单元ReLU来缓解梯度消失加批量归一化让每层输入的分布稳定下来加残差连接让信息能跳过若干层直接向前传给浅层用随机失活Dropout降低过拟合。这些技巧单独来看都很朴素但组合在一起就把“能不能训练出几十层网络”这个问题给解决了。再往后到了自然语言处理领域自注意力机制也就是多头注意力彻底取代了循环结构的时序建模方式让网络并行处理全部位置并显式捕捉长距离依赖于是横扫一切的Transformer架构登上舞台。2.4 三角循环先有鸡还是先有蛋很多人喜欢问深度学习能火到底哪个驱动力最重要。我的看法是它们是一个互相锁死的循环。有算法创新但算力不够只能当玩具有算力但数据太少模型照样过拟合有数据、有算力但算法效率太差训练成本贵到让人放弃。举个例子反向传播八十年代就重新提出来了但一直到2010年左右才展现出碾压性优势中间缺的就是算力和数据的“填满”。反过来说如果当年没有GPU这个外挂硬件即便有一百个大数据集靠CPU训练一个现代级卷积网络时间会漫长到普通人根本没有耐心的地步。所以不要崇拜某一个单一因素研究深度学习的历史你看到的往往是一个“原本低效的算法在社会基础设施全面进步后终于跑通了”的故事。3. 与神经科学的“恩怨”借鉴与背离3.1 早期深度学习如何从大脑中“抄作业”深度学习这一脉的早期研究者大多有神经科学或心理学的学术背景。感知机的提出者就承认灵感来自神经元的“全有或全无”反应。到了卷积神经网络诞生借鉴大脑视觉皮层的细节就更明显了视觉皮层里的简单细胞对局部边缘方向敏感复杂细胞则对这些边缘响应做空间聚合。于是研究者设计了卷积层里的局部感受野只让每个神经元观察图像的一部分再把多个局部抽取结果共享同一组权重。这种“局部连接 权值共享”的设计可以说就是把生物视觉系统的公式偷了出来。后来神经科学发现的层级视觉处理也被用在网络结构上腹侧视觉通路从视网膜到初级视觉皮层再到颞叶逐级从边缘、形状、物体递进。深度卷积网络也分层提取特征浅层识别线条和角点中层识别轮廓和局部模式深层识别整车或人脸。这种结构相似性不是巧合是深度学习早期从大脑那里借来的骨架。3.2 反向传播其实是“伪生物机制”但到了反向传播事情开始拧巴。深度学习工程上最依赖的权重更新方法在生物学上一直没能得到令人满意的对应解释。反向传播要求误差信号从输出层一层层传回去并且每一层都要精确计算梯度这需要网络在脑内维护一个“反向的”连接来传递误差。可大脑皮层的连接方向基本都是正向的没有证据支持存在一套跟正向通路同样精确的反馈通路。这一点在神经科学圈里被质疑了很多年甚至有学者直接说“大脑不可能做反向传播”。更有意思的是这个质疑不仅没打倒深度学习反而让一部分研究者彻底看开了我们不是要模拟大脑只是在寻找一个有效的数学优化方法。于是“联结主义”和“类脑计算”走向分岔。有的研究者专注把网络做得更贴近大脑比如脉冲神经网络更多研究者则彻底抛弃生物合理性转向纯粹工程调优。这种“背离”反而释放了深度学习的想象力使它不必被生物学细节绑住手脚。3.3 神经科学反过来向深度学习“抄”正当两者分道扬镳之际转折又来了。深度学习大获成功后一些计算神经科学家尝试用深度神经网络模型来预测大脑视觉皮层对不同图像的激活响应。结果出乎意料地好卷积神经网络中层深度特征和目标神经元实际发放率之间的相关系数高到令人惊讶。一个完全从工程任务里训练出来的网络居然接近了生物学视觉系统内部特征的某些性质。这说明什么说明大脑视觉皮层和深度卷积网络可能共享某种基于“层级特征抽象”的通用计算原则——大脑不一定用反向传播来学习但在表征特性上两者确实存在趋同。于是一部分神经科学家也不得不开始把深度学习当作“推理工具”来研究大脑而不是仅仅把它当成“不切实际的模型”。3.4 注意力机制的趋同演化再到后面的注意力机制那才叫“众说纷纭”。Transformer里的注意力把输入序列拆解为查询、键、值三个向量然后通过点积计算不同位置之间的关联强度。这个设计和认知心理学里的“选择性注意力”有着直观的呼应大脑在处理复杂场景时本来就不是均衡加工所有信息而是会选重点。但这种类似更多是“趋同演化”而不是“基因遗传”。注意力机制的提出最初是为了解决机器翻译中长句对齐和建模距离远的问题并没有太多神经科学实验数据的支撑。它是一次工程需求驱动的创新后来却反过来启发了一些认知模型的改进。所以硬要把深度学习的每一块砖都跟神经科学对号入座是很傻的事。两者更像是同一片“智能”主题下的两种解法有时互相借鉴有时各自独立最后居然在抽象层面看起来遥相呼应。4. 三次浪潮中的“断流期”都在等什么4.1 第一次低谷不是异或一锤定音而是“生存环境”没到传统教科书喜欢把第一次低谷归结为明斯基等人对感知机局限性的证明但我觉得这个归因过于简化了。理论上的否定当然重要可即便没有那篇攻击性文章第一波浪潮也会因为自身瓶颈很快达到天花板单层感知机表达能力有限而多层模型又缺乏有效训练算法和计算资源。更重要的是当时社会对AI的期待被媒体吹得太高期刊审稿人已经对“感知机类工作”产生了倦怠。说白了这就是一个技术产品在过度炒作之后必然会出现的幻灭期。所谓“断流”本质上不是世界没有神经元而是周围缺乏足够的电力、数据、人才和资金把它接过来。4.2 第二次低谷核方法这位“别人家的学霸”出现神经网络不香了第二次断流的原因其实比第一次更让人伤感。八十年代末BP算法带来的复兴本来已经成气候了但随后核方法作为一种新的机器学习范式全面崛起。它数学推导优美可以处理非线性分类/回归在中小规模数据上表现稳定而且没有局部最优的担心。反观神经网络训练需要大量调试结果还不一定比得上别人随手调好的核方法。学术界是最现实的。资助机构开始把钱投向“有严格理论”的方向神经网络领域相形见绌只能缩在一小撮坚持者手里。现在回头看那一时期的主要技术进展——卷积网络结构、长短期记忆网络、深度信念网络其实都是在“主流不看好的冬天”里悄悄长出来的。这也提醒我们当一个方向看起来最冷冷清清的时候往往也就是下一波浪潮储备能量的阶段。4.3 第三次浪潮会不会也有触顶的一天把视角拉到今天第三次浪潮也不是没有隐患。大模型参数越来越多训练一次烧掉的能量越来越大数据标注慢慢耗尽只能用自监督或合成数据续命模型内部的不可解释性让它在医疗、金融等高风险场景难以上手。很多人已经在讨论“涌现能力到底是真能力还是数据幻觉”也有人在思考新一代算法能不能摆脱预训练微调这一整套框架。我的判断是浪潮不会退成前两次那种“彻底沉寂”但增量红利确实在变薄。下一次变局很可能是某个不起眼的算法创新再次跟巨大的算力和数据一拍即合。就像2012年那个由图像竞赛引爆的时刻一样谁都没想到最核心的驱动其实是几块GPU加速卡。5. 一些踩过坑之后的经验之谈写到这里顺带聊点我个人的体会。我一开始学深度学习是奔着“它模拟了大脑”去的。后来读了神经科学的一些资料发现模拟大脑的说法太浪漫了很多细节根本对不上号。这个落差其实挺大的。后来工作了几年参与过一些视觉模型训练才慢慢把心态摆正深度学习和神经科学更像是“兄弟学科”不是一个复制另一个。你拿深度网络做工程不要动辄宣称自己的模型“像人脑”你做神经科学也不必强迫大脑必须按深度学习的逻辑运转。两边真正该干的事儿是把彼此的合理成分摘出来互相检验而不是互相攀亲戚或者互相拆台。还有一个小忠告学习深度学习的历史别把“时间点”记错当成小事。比如反向传播思想在几十年前早就有了但因为算力不到位一直没火起来。如果你只知道“2012年深度学习爆发”却不知道之前两次断流你可能会错误地认为只要我把模型做深做大数据就一定能成功。其实成功的条件远比这复杂需要在算法、算力、数据、甚至社会情绪四个维度上同时站对位置。最后再分享一个实操层面的观察现在很多人做模型遇到效果不好就疯狂调参。其实如果研究一下深度学习的前两次低谷你会发现很多时候不是参数问题而是“当前基础是否配得上你的模型复杂度”。深度学习不是无中生有它更像一棵树三次浪潮就是三次施肥但根一直扎在那些看似过时的网络结构里。理解这一点你看很多技术新闻的态度都会不一样热闹是周期根子才是真。