【老计带你懂线性代数】13：线性代数与神经网络，系列收官

【老计带你懂线性代数】13线性代数与神经网络系列收官开头把线代和深度学习彻底打通到这一篇《老计带你懂线性代数》就要收官了。前面十二篇我们从向量出发走过矩阵、变换、特征值、SVD、嵌入。这最后一篇我们把这一整套线性代数和你最关心的神经网络彻底串起来你会清清楚楚地看到一个神经网络从头到尾就是一串线性代数运算。读完这篇深度学习在你眼里会从一个玄乎的黑箱变成一串你能看懂每一步的线代操作。这也是整个系列乃至AI数学三部曲最好的收尾方式看着抽象的数学怎么变成了改变世界的AI。用线代把神经网络从头串一遍我们把一个神经网络拆开看每一部分对应什么线代概念你会发现前面每一篇都在这里派上了用场输入是向量第02篇一个样本比如一张图片、一个用户就是一个向量。一批样本堆起来是矩阵。每一层的权重是矩阵第04篇一层网络要把n个输入特征变成m个输出特征它的权重就是一个m乘n的矩阵。前向传播是矩阵乘法第05篇输入向量或一批样本的矩阵乘权重矩阵就把数据从一层传到下一层。这是神经网络最核心、最耗算力的运算。加偏置是向量加法第02篇矩阵乘法之后加一个偏置向量做个平移。激活函数注入非线性矩阵乘法是线性变换第06篇只能做旋转缩放投影这类规整的事激活函数把空间掰弯让网络能拟合复杂规律。每一层都在变换特征空间第06篇一层层地把数据揉捏成好分类的形状。注意力机制是矩阵运算第03、05篇Transformer里词向量堆成矩阵通过几个权重矩阵变换出Q、K、V注意力就是算Q和K的点积相关度、再加权组合V全是矩阵乘法和点积。看从最简单的全连接网络到最前沿的Transformer拆到底层全是向量、矩阵、矩阵乘法、点积这些你已经熟悉的线代零件。深度学习的深是这些运算叠了很多层深度学习的强是海量参数加海量数据加海量算力但它的底层语言自始至终就是线性代数。把注意力机制拆开看也全是线代既然提到了Transformer我们把它那个听起来最玄的注意力机制用线代拆开看看你会发现它一点都不神秘。注意力要解决的问题是处理一句话里的某个词时该重点参考句子里的哪些词。它的做法全程是矩阵和向量运算先把每个词的向量通过三个权重矩阵变换出三样东西查询、键、值Q、K、V这是矩阵乘法再用查询和所有词的键做点积算出该关注谁、关注多少这是点积第03篇讲的衡量相关度最后按这些关注度加权组合所有词的值这又是加权求和、还是矩阵运算。打个比方注意力就像你读一句话时大脑不自觉地在词和词之间牵线把相关的词联系起来理解。而这个牵线、算相关、再综合的过程机器用的全是点积和矩阵乘法。所谓Transformer、所谓大模型的核心拆开来看还是这个系列讲的那几样线代操作只是规模巨大、堆叠很深。这也是我想让你带走的一个底气再高大上的AI架构底层都逃不出向量、矩阵、点积、矩阵乘法这些你已经掌握的东西。名词会不断更新但这套数学地基是稳的打牢了它你追新技术就快得多。为什么GPU是AI的引擎从线代看顺便从线代视角把GPU这件事彻底讲通。神经网络的核心是矩阵乘法而矩阵乘法包含海量的、彼此独立的、规则一致的乘加运算。GPU有成千上万个计算核心特别擅长同时干大量这种简单又整齐的活。于是神经网络的矩阵乘法恰好能喂饱GPU的所有核心一次算完一大片。这就是为什么训练大模型要囤那么多GPU、为什么英伟达靠卖GPU成了AI时代最赚钱的公司之一。归根到底是因为深度学习的计算本质是矩阵乘法而GPU是为大规模矩阵乘法而生的。我做AI Infra日常打交道的显存、并行、通信优化最终都是为了让这些巨大的矩阵乘法跑得更快。理解了这一层你就从数学根子上理解了整个AI算力产业为什么这么转。上代码用纯线代搭一个能跑的迷你神经网络不用任何深度学习框架只用NumPy的矩阵运算我们就能搭一个能跑的神经网络亲眼看它全是线代。# 依赖pip install numpyimportnumpyasnp np.random.seed(0)# 造一个简单二分类数据:4个样本,每个2个特征Xnp.array([[0.1,0.2],[0.9,0.8],[0.2,0.1],[0.8,0.9]])# 输入矩阵(4样本, 2特征)ynp.array([[0],[1],[0],[1]])# 标签# 定义一个两层网络的权重(全是矩阵),随机初始化W1np.random.randn(2,4)# 第一层:2维输入 - 4个隐藏神经元b1np.zeros((1,4))W2np.random.randn(4,1)# 第二层:4 - 1个输出b2np.zeros((1,1))defsigmoid(z):return1/(1np.exp(-z))# 前向传播:全是矩阵乘法 加偏置 激活defforward(X):Z1X W1b1# 矩阵乘法(第05篇)偏置(第02篇)A1np.maximum(0,Z1)# ReLU激活(注入非线性,第06篇)Z2A1 W2b2# 再一次矩阵乘法A2sigmoid(Z2)# 输出层激活,压成概率returnA2# 训练前的预测(权重随机,还没学)print(训练前的预测概率:\n,np.round(forward(X),3))# 简单训练几轮(手写梯度下降,核心还是矩阵运算)lr0.5forepochinrange(2000):# 前向Z1X W1b1;A1np.maximum(0,Z1)Z2A1 W2b2;A2sigmoid(Z2)# 反向传播(也全是矩阵运算)dZ2A2-y dW2A1.T dZ2 db2dZ2.sum(axis0,keepdimsTrue)dA1dZ2 W2.T dZ1dA1*(Z10)dW1X.T dZ1 db1dZ1.sum(axis0,keepdimsTrue)# 更新权重W2-lr*dW2;b2-lr*db2 W1-lr*dW1;b1-lr*db1print(\n训练后的预测概率:\n,np.round(forward(X),3))print(标签:,y.ravel())print(网络学会了分类,而它从头到尾只有矩阵乘法、加法、激活这几样线代操作)运行输出示例随机初始化每次略有差异训练前的预测概率: [[0.5 ] [0.484] [0.5 ] [0.489]] 训练后的预测概率: [[0.02 ] [0.978] [0.021] [0.981]] 标签: [0 1 0 1] 网络学会了分类,而它从头到尾只有矩阵乘法、加法、激活这几样线代操作运行你会看到训练前网络乱猜概率都在0.5附近训练几轮后它把标签0的样本预测成接近0、标签1的预测成接近1学会了分类。最关键的是这个网络从前向传播到反向传播没用任何深度学习框架全是NumPy的矩阵乘法、加法、激活。这就是本篇要你亲眼看到的神经网络的骨架就是线性代数。全系列主线回顾收官之际把《老计带你懂线性代数》的主线收拢一下数据是向量和矩阵万物皆向量一批数据是矩阵这是AI表示世界的方式01到04篇。计算是矩阵乘法神经网络的核心运算一层层变换特征空间把数据揉成好分的形状05到06篇。结构靠特征值和SVD找数据的主方向、做降维、压缩、去噪PCA和SVD是核心武器07到11篇。万物靠嵌入变向量矩阵分解和嵌入把稀疏离散的东西变成稠密向量是现代AI处理万物的统一方式12篇。一条贯穿的哲学用低维抓住本质去掉冗余无论降维、压缩还是嵌入都是这个思想。AI数学与原理三部曲合起来看这也是三个系列的会师。线性代数、概率统计、AI算法构成了理解AI的数学与原理三部曲线性代数管数据的表示与变换数据长什么样、计算怎么进行。概率统计管不确定性怎么从数据推断、怎么量化不确定、怎么不被数据骗。AI算法管模型本身各种模型怎么工作、怎么选、怎么评估。三者合起来你就有了理解AI的完整地基。一个模型算法用线性代数来表示和计算数据用概率统计来处理不确定和做推断。比如神经网络它的计算是线代矩阵乘法它的损失函数和评估是概率统计最大似然、交叉熵它要解决的分类回归是算法层面的任务。三条线在每个真实的AI系统里交织在一起。这里也回应一个很多人纠结的问题学AI是不是得先把这些数学全啃透才能开始。我的答案是不必。数学和实践应该是交替进行、互相带动的你不用等到把线代概率统计学完美了再去碰模型那样很可能还没上路就放弃了。更好的方式是带着问题去学用到哪学到哪学一点就动手用一点。就像这三个系列我始终是从AI的实际需求出发去讲数学而不是为了数学而数学。你完全可以先跑通一个模型、遇到不懂的概念再回来补对应的数学这样每一块数学都带着用途学得快、记得牢、也不枯燥。数学是为理解和运用AI服务的工具别让它变成你入门的门槛让它做你手里的透视镜。给想继续深入的人如果你想继续往下走几个方向动手写用NumPy手写更多模型就像本篇的迷你网络是把数学变成能力的最好方式。看经典可视化3Blue1Brown的线性代数和微积分系列几何直觉无可替代。补微积分与优化这个三部曲没专门讲微积分梯度下降背后的数学它是模型怎么学习的关键值得再补一块。读源码读一读PyTorch或经典模型的实现你会发现全是这些数学概念的落地。写在最后写这个系列我的初衷是打消一个误解很多人觉得搞AI必须先啃完厚厚的数学书望而却步。可当你带着它在AI里到底怎么用这个问题去学会发现真正用得上的线性代数核心就是这十三篇讲的东西向量、矩阵、变换、特征值、SVD、嵌入而且每一个都有直观的几何画面并不可怕。数学不是AI的拦路虎而是看懂AI的透视镜。有了它那些花哨的模型和名词在你眼里会显出朴素的本来面目无非是数据变成向量、计算变成矩阵乘法、结构靠分解提取、万物靠嵌入表示。这份看穿表象的能力比记住任何一个模型都珍贵也是我做这整个AI数学与原理三部曲最想留给你的东西。感谢你陪我走完线性代数这一程也走完了这一整套三部曲。愿这些数学成为你在AI时代里看得更清、走得更稳的底气。我是老计我们下个系列再见。延伸阅读3Blue1Brown《线性代数的本质》全集配合本系列回看几何直觉极佳https://www.3blue1brown.com/topics/linear-algebra《动手学深度学习》李沐等中文免费在线书用代码把数学落地https://zh.d2l.ai姊妹篇《老计带你懂AI算法》和《老计带你懂概率统计》三者合为AI数学与原理三部曲推荐一起读说明以上为官方与经典公开资料地址可能随版本调整如打不开可用标题搜索。