它是一笔总账，记着电脑为了跑通一个模型，一共做了多少次小数乘法和加法。1. 它到底在说什么FLOPs（Floating Point Operations，浮点运算量）是“完成一次计算总共要做多少次带小数点的算术”——一次加、减、乘、除都算一笔。它不是速度，也不是硬件，它只回答一个问题：这件事的工作量到底有多大。一个类比：FLOPs 像你从北京开车到上海的总路程（约 1200 公里），是个固定数字；而 FLOPS（Floating Point Operations Per Second，每秒浮点运算次数）像你车的最高时速。路是固定的，但开快车还是慢车、堵不堵车，决定你多久到。模型要算的总量由 FLOPs 决定，硬件每秒能算多少由 FLOPS 决定，二者配合才得到时间。2. 为什么现在这个词很热FLOPs 作为“工作量单位”在超算领域存在了几十年，但真正被推到 AI 讨论中心，是 2020 年 OpenAI 的 Kaplan 等人在《Scaling Laws for Neural Language Models》（arXiv:2001.08361）里证明：模型的损失（loss）随训练总计算量呈可预测的幂律下降。从此，“训练一个模型要花多少 FLOPs”成了事前能估算、事后能从硬件账单核对的硬指标。2