线性模型：机器学习基础与实战应用

1. 线性模型机器学习的第一块基石第一次翻开《机器学习》西瓜书第三章时我被周志华老师那句线性模型是机器学习中最基础的模型深深触动。作为从业十年的算法工程师我至今记得自己第一次用线性回归预测房价时看着那条简单直线竟然能拟合真实数据的震撼。这就像建筑工人打地基看似简单的水泥浇筑却决定了整栋楼的高度和稳固性。线性模型的核心魅力在于其大道至简——用ywxb这样的线性方程就能解决从用户点击率预测到金融风险评估等各种问题。我在电商平台做的第一个推荐系统就是用逻辑回归实现的虽然现在深度学习当道但每逢新业务冷启动我仍然会先搭建线性模型baseline。这章要啃的南瓜书补充推导正是帮我们理解这些简单模型背后的数学之美。2. 线性回归从数学推导到实战调参2.1 最小二乘法背后的几何意义西瓜书3.2节给出的最小二乘解w(X^TX)^(-1)X^Ty本质上是在寻找使预测值与真实值欧氏距离最小的参数。我在教学时常用投影来比喻——就像把散乱的数据点投射到模型空间的超平面上。南瓜书对此的矩阵求导补充尤为珍贵。记得有次面试候选人被要求手动推导正态方程90%的人卡在矩阵求导步骤。其实记住这两个关键点就能应对大部分场景∂(w^TAw)/∂w (AA^T)w当A对称时简化为2Aw重要提示实践中直接调用scikit-learn的LinearRegression而非自己实现因为涉及矩阵求逆稳定性处理如SVD分解。曾有个项目因自写代码未处理列共线性导致预测出现严重偏差。2.2 正则化解决过拟合的利器当特征维数高或存在多重共线性时普通最小二乘会失效。这时就需要引入L2正则化岭回归或L1正则化Lasso。我在信贷评分项目中就遇到过——原始特征300维Lasso自动筛选出20个关键特征模型效果反而提升7%。参数选择上建议先用热力图观察特征相关性从α0.1开始网格搜索对Lasso使用np.logspace(-3,3,7)等比数列# 标准化的必要步骤 from sklearn.preprocessing import StandardScaler scaler StandardScaler() X_scaled scaler.fit_transform(X) # 带交叉验证的Lasso from sklearn.linear_model import LassoCV model LassoCV(alphasnp.logspace(-3,3,7), cv5) model.fit(X_scaled, y)3. 对数几率回归分类问题的起点3.1 从线性回归到逻辑回归虽然名叫回归但逻辑回归实为分类模型。它的巧妙之处在于用sigmoid函数将线性输出压缩到(0,1)区间。我在医疗诊断系统中就用它预测患病概率相比直接阈值判断概率输出更能辅助医生决策。南瓜书对极大似然估计的推导值得反复品味。理解这个为什么用交叉熵而非MSE作为损失函数梯度下降时∂L/∂w X^T(y_pred-y)的物理意义是什么3.2 多分类扩展与工程实践面对多分类问题两种主流方案OvROne vs Rest训练K个二分类器Softmax回归直接输出多类概率在商品品类预测项目中我发现当类别不平衡时Softmax对头部类别偏向严重OvR类别权重调整效果更稳定# 样本加权示例 class_weight compute_class_weight(balanced, classesnp.unique(y), yy) model LogisticRegression(class_weightdict(zip(np.unique(y), class_weight)))4. 线性判别分析降维与分类的双重奏4.1 类间分散与类内分散的博弈LDA试图找到使类间距离最大、类内距离最小的投影方向。在人脸识别项目中我们先用PCA降维到100维再用LDA提取10维特征识别准确率比纯PCA提升15%。关键公式J(w)w^TS_b w / w^TS_w w的优化实为广义特征值问题。南瓜书详细推导了如何转化为标准特征值分解这对理解sklearn的LDA实现至关重要。4.2 实际应用中的陷阱小样本问题当n_samples n_features时类内散度矩阵奇异解决方案先PCA降维非线性可分数据效果差可尝试核化版本但计算量大经验之谈LDA假设各类数据同协方差矩阵实际项目中建议先用seaborn的pairplot观察各类分布形态。5. 多分类学习的策略对比5.1 OvO与OvR的时空权衡OvOOne vs One训练C(k,2)个分类器预测时投票适合类别少、数据量大的场景OvR训练k个分类器预测取概率最大者内存占用小但可能遇到数据不平衡在广告CTR预测中我们对比发现当类别数k15时OvO训练时间呈平方增长但对长尾类别OvO的recall比OvR高3-5%5.2 误差校正编码的妙用西瓜书提到的ECOC是处理多分类的优雅方案。我们曾在商品评论情感分析正面/中性/负面中使用编码矩阵设计为[[1, 1, -1], [1, -1, 1], [-1, 1, 1]]每个列训练一个二分类器解码时计算汉明距离这种方法比直接Softmax对模糊语句如还行吧的分类准确率提升8%。6. 类别不平衡问题的实战解决方案6.1 重采样技术的选择过采样SMOTE适合中等不平衡1:3到1:10但可能引入噪声欠采样适合极端不平衡1:100可能丢失重要信息在金融风控中我们采用混合策略对多数类做Tomek Links欠采样对少数类用Borderline-SMOTE过采样最后用集成学习组合多组采样数据6.2 代价敏感学习修改模型损失函数给少数类更高惩罚权重。以逻辑回归为例# 计算类别权重 neg np.sum(y0) pos np.sum(y1) class_weight {0:1, 1:neg/pos} model LogisticRegression(class_weightclass_weight)在医疗诊断中这种设置使得模型对阳性病例的召回率从60%提升到85%虽然准确率略有下降但符合业务需求。7. 线性模型的现代扩展7.1 核技巧非线性能力的注入通过核函数将特征映射到高维空间保持线性模型的计算效率。我在推荐系统中常用以下核多项式核适合显式特征交叉Sigmoid核模仿神经网络行为from sklearn.kernel_ridge import KernelRidge model KernelRidge(kernelpolynomial, degree2)7.2 稀疏建模与特征选择当特征维数极高如文本TF-IDF特征L1正则化能自动选择重要特征。在新闻分类项目中原始特征50万维Lasso筛选出3000个关键词语模型大小缩减到1/50推理速度提升40倍。实际操作建议先用方差阈值过滤低频特征再用SelectFromModel配合LassoCV最后用保留的特征训练最终模型8. 工程实践中的性能优化技巧8.1 增量学习处理大数据当数据无法一次性加载时可用partial_fit方法from sklearn.linear_model import SGDClassifier model SGDClassifier(losslog, warm_startTrue) for chunk in pd.read_csv(bigdata.csv, chunksize10000): X preprocess(chunk) model.partial_fit(X, y, classesclasses)8.2 模型压缩与加速线性模型可通过权重量化大幅压缩训练时用32位浮点预测时转为8位整型对稀疏模型使用CSR存储格式在边缘设备部署时这种优化能使推理速度提升5-8倍内存占用减少75%。