上周有个机房值班的同事问我一件怪事。同一排 8 台机器、64 张卡白天调度群里全是等卡的消息有的任务说三天没排上。晚上十点他去机房转了一圈一半机器的风扇已经降下来了监控上显存几乎空着。白天不够用、晚上一半闲这两件事发生在同一批卡上前后差不到十二个小时。他导出调度记录给我看白天的等卡列表排了两页夜里十一点的利用率曲线几乎贴着地面。他问我是不是卡买少了。我去翻了一遍任务记录才发现排队的是训练闲着的是推理。这是两种活不是一种活多了、一种活少了。一句话原理同一张卡训练像把一本练习册从头算到尾、中途不能停笔推理像柜台答问来一个人答一句答完就等下一个。训练要的是长时间不被打断、显存卡上自带的内存装得下整份作业推理要的是答得快人多了能加卡、人少了能退卡。这两种要求长在同一张卡上很难同时满足。所以白天排队和晚上空转其实是同一件事的两面。一个具体例子拿共享厨房来比。灶台就是 GPU一道炖菜是训练快餐档口是推理。炖菜要占三个灶、连着炖三周中途掀锅就前功尽弃。快餐档口只在中午那两个小时排队下午基本没人。假设一个机房有 64 张卡。训练任务占 32 张连跑 3 周中途不许被切走。推理白天高峰要 24 张夜里只要 6 张。如果训练池和推理池各自划死推理那 32 张卡里有 26 张从夜里十点闲到早上八点。卡时就是一小时占一张卡算账用的单位。一晚空掉 26 × 10 260 卡时一个月约 7800 卡时。按一张卡一小时 10 元算假设价一个月空转掉七万八。这钱谁也没收到但租金照付。以上数字都是假设只为把账算清不代表任何真实机房。一个小闭环现场。输入是一张卡一张卡的显存占用、任务起止时间。动作是从调度器和卡上监控各取一份。输出是谁在跑、谁在等。连上。输入是每个任务能不能被打断、最长要连着跑多久。动作是给任务打上“可抢占”或“独占”的标记。输出是一张能混着排的任务表。少了这步训练被当成推理切走一晚上白跑。算清。输入是两类任务每个时段用了几张卡。动作是按时段对一遍“该用几卡、实际几卡”。输出是空转的卡时数。少了这步不知道该挪多少卡。做动作。输入是这张空转清单。动作是把批量推理、离线评测这类能被打断的活塞进训练的空档推理按时段伸缩。输出是同一批卡干更多活。少了这步空转就一直空转。证明结果。输入是动作前后的利用率卡真正在算的时间占多少、等卡时长、推理延迟。动作是对比同一个时段。输出是省下多少卡时、训练有没有被拖慢。少了这步说不清是省了还是乱了。三条技术确认点一、训练断了要退多远。现场要确认多久存一次检查点、恢复要几分钟。这决定了它能不能和别人共用一台机器。二、推理慢到几秒算超时。用户点下去到看见开头那个字几秒算超时、超了怎么排队要落在纸面上。没有这条线共享卡跑推理就是赌。三、显存按峰值留还是按均值留。训练的显存按模型大小基本固定推理的显存随同时在线的人数往上爬。留错了白天高峰一到就爆。常见误区看起来是卡买少了其实是卡不能被切。训练要整卡独占好几周推理要随时加随时减两种活挤在一个池子里就互相堵。看起来是推理更省钱其实是推理的高峰最贵。白天那几个小时要的卡和训练整月占的卡是同一批账单上却分成两笔。看起来是混着跑一定划算其实是混错了更贵。抢先把训练打回上一个检查点重跑掉的卡时比省下的还多。回到开头那位同事的机房不是卡少了是两种活被塞进了两个互不相通的池子。训练这边排不上队推理那边夜里空一半。一个慢是因为它必须一次算完、中途不能停一个要快是因为它在等人来问答慢了人就走。把能被打断的活填进空档把不能断的活留足整卡同一批卡就能多干一截活。空转掉的那部分卡时本来就是钱。算力慧知开源智算调度平台GPU 资源池化、任务调度、多租户和计费一套管装在自己服务器上能改能扩。