机器学习不是一堆算法的堆砌而是一套按学习任务分类的方法体系。下面用一张全景图 分门别类的方式讲清核心算法。一、全景地图四大范式机器学习 ├── 监督学习有标签给你答案学映射 ├── 无监督学习无标签自己找结构 ├── 半监督学习少量标签 大量无标签 └── 强化学习与环境交互学策略二、监督学习分类与回归目标学一个函数 f(x)→y1. 线性模型入门必学算法用途核心思想线性回归​回归用一条直线拟合数据逻辑回归​二分类把线性结果压到 [0,1] 表示概率Softmax 回归​多分类逻辑回归的多类推广逻辑回归虽叫回归本质是分类算法名字容易误导。2. 基于距离 / 核的方法算法核心思想K 近邻KNN​近朱者赤用最近的 K 个邻居投票支持向量机SVM​找一条间隔最大的分界线用核函数处理非线性3. 决策树与集成工业界最常用算法核心思想决策树ID3/C4.5/CART​用信息增益 / 基尼系数不断问问题做分支随机森林​多棵树的 Bagging降低方差GBDT / XGBoost / LightGBM / CatBoost​多棵树串行提升梯度提升的工业标杆XGBoost 至今仍是表格数据竞赛的王者Kaggle 上大量冠军方案都用它。4. 神经网络深度学习的基础算法用途多层感知机MLP​万能分类/回归器反向传播训练CNN​图像、空间数据RNN / LSTM / GRU​序列数据文本、时间序列Transformer​当前大模型的基础架构三、无监督学习找结构目标没有标签自己发现数据的内在规律。1. 聚类把相似的聚在一起算法核心思想特点K-Means​选 K 个中心反复分配更新简单快需预设 KDBSCAN​按密度连通自动发现簇数能识别噪声适合任意形状层次聚类​自底向上/自顶向下建树可输出树状图高斯混合模型GMM​用多个高斯分布拟合软聚类概率归属2. 降维压缩 可视化算法核心思想PCA主成分分析​找方差最大的正交方向t-SNE​保持局部距离擅长可视化UMAP​t-SNE 的现代替代更快更稳LDA线性判别分析​有监督降维兼顾类间分离3. 关联规则算法用途Apriori / FP-Growth​购物篮分析买尿布的人也买啤酒4. 异常检测算法核心思想孤立森林Isolation Forest​异常点更容易被孤立One-Class SVM​学一个边界圈住正常样本LOF局部离群因子​比较局部密度四、半监督与自监督学习算法核心思想伪标签Pseudo-labeling​用模型给无标签数据打标签再训练一致性正则​对同一样本加扰动输出应一致对比学习SimCLR / MoCo​拉近正样本、推远负样本学习表征掩码建模BERT / MAE​遮住一部分让模型预测无标签预训练大模型时代自监督学习是无中生有的关键——用海量无标签数据预训练再用少量标签微调。五、强化学习与环境博弈算法类型核心思想Q-Learning / SARSA​值迭代学在某个状态做某动作的价值DQN​值迭代用神经网络近似 Q 值Policy Gradient / REINFORCE​策略迭代直接优化策略PPO / TRPO / SAC​策略迭代现代连续控制主流Actor-Critic​混合策略 价值双网络多臂老虎机Bandit​简化版探索与利用的平衡六、模型评估算法的驾照考试指标适用准确率、精确率、召回率、F1分类ROC-AUC、PR-AUC不平衡分类MSE、MAE、RMSE、R²回归混淆矩阵分类细节避坑数据要分训练集 / 验证集 / 测试集用交叉验证类别不平衡时别只看准确率比如 99% 的癌症检测可能是全判为无癌。七、选择算法的决策树要预测什么 ├── 分类 │ ├── 小数据、可解释 → 逻辑回归 / 决策树 / SVM │ ├── 表格数据、要精度 → XGBoost / LightGBM │ └── 图像/文本/语音 → 深度学习 ├── 回归 │ ├── 线性 → 线性回归 / 岭回归 / Lasso │ └── 非线性 → GBDT / 神经网络 ├── 聚类 → K-Means / DBSCAN ├── 降维 → PCA / UMAP └── 序列决策 → 强化学习八、工业落地的关键算法栈以你之前关注的方向为例场景算法制造质量预测GBDT / XGBoost表格数据之王设备预测性维护LSTM / Transformer时序 异常检测数字孪生降阶PCA 神经网络代理模型ROM智能排产优化机器学习 运筹优化MLOR 融合视觉质检CNN / Vision Transformer