UltraData-Code-L2-Classifier质量模型为何打0-10分？两阶段序数打分机制深度解析

UltraData-Code-L2-Classifier质量模型为何打0-10分两阶段序数打分机制深度解析UltraData-Code-L2-Classifier是一组面向 11 种编程语言的代码文件质量模型其中的Qquality质量模型会为每个源文件输出一个0~10 分的quality_score用于从海量代码里筛出高质量、有算法价值的实现。它采用一套两阶段序数打分机制先用「零分门控」判断文件是否为无逻辑的配置/数据再用序数回归把真正的代码排到 1~10 的有序刻度上。本文从源码出发讲清楚这个分数为什么恰好落在 0~10、两阶段各自在做什么以及为什么选序数打分而非普通回归。先搞懂质量分数在 L2 筛选中的位置UltraData-Code-L2 的目标是从标准化代码中集中可解释的计算与问题求解逻辑。为此每种语言都由三个小模型协同完成筛选它们都复用同一份预计算代码语义表征打分器权重文件输入输出作用C文件角色C_file_role.bin1024 维 embeddingcategory7 类之一判断文件属于 ALGO / WEB / TOOL / DATA / TEST / CONFIG / EXCLUDEA算法相关性A_relevance.binembedding 256 维路径哈希algo_rel_score0~1判断文件是否「算法相关」Q代码质量Q_quality.bin标准化 embeddingquality_score0~10给文件打质量分本文的主角是Q 质量模型。它的输入是经过 StandardScaler 标准化的 1024 维 embedding注意Q 只看代码表征不使用文件路径只有相关性模型 A 才拼接路径特征。为什么是「两阶段」而不是一个头直接打分如果把「这个文件值几分」当作一个任务它其实藏着两个性质不同的子问题要不要打—— 配置文件、数据转储、纯样板代码根本谈不上「质量高低」应该直接压到接近 0打几分—— 真正有逻辑的代码才需要在一个 1~10 的有序刻度上排出高下。用一个回归头同时做这两件事会让「无逻辑文件」污染掉「代码好坏」的学习信号。于是 Q 被拆成两个阶段、两个头共享同一个特征主干QualityMLP阶段一 · 零分门控zero gatezero_head输出 1 个 logit经sigmoid得到p_zero表示「这是一个应被打零分文件」的概率。阶段二 · 序数定位ordinal placementordinal_head输出 9 个 logit各自过sigmoid把文件放到 1~10 的有序刻度上。公式拆解0~10 是怎么算出来的最终分数是一个乘积见 predict_qualityquality_score (1 - p_zero) × (1 Σᵢ σ(oᵢ))逐项来看它的取值范围就明白了为什么结果恰好卡在 0~10因子表达式取值范围含义存活系数1 - p_zero[0, 1]零分门控没触发的程度序数定位1 Σᵢ σ(oᵢ)共 9 项[1, 10]文件在 1~10 刻度上的期望位置最终分数两者相乘[0, 10]quality_score9 个序数 logit 各自σ ∈ [0,1]求和落在 [0, 9]再加 1 就是 [1, 10]——这正是「1 到 10 分」的来源。再看三个边界情况机制就很清晰了无逻辑文件配置/数据/样板p_zero → 1存活系数 → 0无论序数头给多高最终分数都被拉向 0最佳代码p_zero → 0且 9 个序数概率都 → 1分数 →10最弱的真代码p_zero → 0但序数概率都 → 0分数 →1仍是代码给最低档。也就是说零分门控相当于一个乘法否决器它不删行而是把不合格文件的分数整体乘小。为什么用「序数打分」而不是普通回归1~10 是一个有序刻度ordinal scale本质是「排名」而不是等间距的连续量。用错建模方式会带来两类问题10 类 softmax把 10 档当成「互不相干的类别」丢失了「8 分比 7 分好、且只差一档」的有序信息回归 均方误差MSE假设各档等距且对标签噪声敏感容易被个别噪声标签带偏。**序数回归Cumulative Link Model**是这类有序标签的「正解」它把 10 档拆成 9 个二分类阈值是否「≥ 第 k 档」既保留了顺序又能把各档概率求和得到一个平滑、单调的期望分。Q 的阶段二正是这个思路——9 个sigmoid对应 9 个阈值1 Σσ(oᵢ)就是期望档位。这也是 describe 里把 Q 标记为strategy: two_stage的原因零分门控管「该不该打」序数头管「打几分」两者相乘既干净又可解释。质量分如何用阈值与筛选策略quality_score只是筛选三把尺子中的一把。在 config.json 中通用策略为algo_rel_min: 0.8相关性阈值quality_min: 3.0质量阈值exclude_categories: [EXCLUDE]角色否决一个文件只有同时满足「相关性达标 角色不被否决 质量分 ≥ 阈值」才会被保留进 UltraData-Code-L2。这些阈值是策略选择而非模型属性可按语言单独覆盖也可以在命令行用--quality-min等参数临时改写见 load_policy_defaults。动手给文件打质量分用Qwen3-Embedding-0.6B生成 1024 维 embedding必须与训练时一致运行 score_parquet.py 批量打分并镜像输出python scripts/score_parquet.py \ --scorers classifiers/python \ --input data/input \ --output-root data/output \ --apply-policy打分后每行会多出category、cls_confidence、algo_rel_score、quality_score等字段加--apply-policy还会追加布尔列selected标记通过全部阈值的行不删除未通过行。小结Q 质量模型只看标准化 embedding输出0~10 分的quality_score两阶段 零分门控1 - p_zero乘法否决× 序数定位1 Σσ(oᵢ)1~10 有序刻度选序数回归而非 softmax/MSE是为了尊重 1~10 的有序语义得到平滑、单调、可解释的质量分质量分与相关性、文件角色一起构成 L2 的三重筛选把约 400B tokens 的高价值算法代码从 L1 中筛出来最终让模型在 EvalPlus / MultiPL-E 上显著跑赢自然代码基线。想深入更多细节可以阅读中文说明 README_ZH.md 与打分器源码 scripts/scorers.py。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考