人工智能大模型模型评测Agent 评测【免费下载链接】InferenceXOpen Source AI Accelerator Research Platform Standard / 开源推理研究平台项目地址https://gitcode.com/gh_mirrors/in/InferenceX点击查看免费下载InferenceX 是一个开源推理研究平台其中的OperatorXoperatorx/目录是其算子级基准测试模块在 NVIDIA / AMD / TPU / Trainium 平台上对 GEMM、Attention、MoE 等推理核心算子逐个计时每次运行输出一份标准 JSON 结果。本文带你快速上手 OperatorX从 GEMM 矩阵乘到 MoE 专家前向一次跑通算子级性能测试 为什么需要算子级基准测试端到端 benchmark 受调度、KV Cache 管理、网络等多重因素影响难以定位性能瓶颈。而算子级基准测试能直接回答一个关键问题同一个算子哪个 kernel 实现更快这正是 SGLang、vLLM 等推理框架和芯片厂商最关心的事。OperatorX 的核心设计多平台覆盖 NVIDIAH100/B200/B300/GB200/GB300、AMDMI300X/MI325X/MI355X、TPU、Trainium集群路由表见 operatorx/clusters.py多后端NVIDIA 平台支持 torch、deepgemm、flashinfer、deepep、sglang、vllm 等 8 种后端实现同一算子跨后端横向对比严谨计时5 次预热 10 次迭代每次迭代前清空 L2 Cache报告中位数延迟微秒逻辑见 operatorx/runners/nvidia/runner.py️真实模型形状测试用例按 llama3-8b、dsr1、qwen3.5 等真实模型命名形状直接来自生产负载OperatorX 支持哪些算子OperatorX 的算子定义集中在 operatorx/ops/ 目录每个算子用OpSpec声明参数 schema算子类型说明定义位置稠密 GEMMgemmC activation(A B bias)ops/gemm.py多头注意力attention_mha标准 MHA支持 paged KVops/attention.py潜在注意力attention_mlaMLA 压缩 KV Cacheops/attention.pyMoE 前向moe_forwardgate dispatch experts combine 整体计时ops/layer.pyMoE 专家 GEMMmoe_gemm单卡 routed expert 分组 GEMM无通信ops/layer.py集合通信allreduce/allgather/reduce_scatter/alltoall多卡通信算子ops/collective.pyMoE 通信dispatch/combine专家并行的 token 分发与聚合ops/collective.py3 步快速上手 OperatorX第一步获取仓库git clone https://gitcode.com/gh_mirrors/in/InferenceX第二步单机直接运行主入口是 operatorx/main.py以python -m operatorx方式调用cd operatorx python -m operatorx --platform nvidia --testlists gemm --backends torch常用参数--testlists逗号分隔的测试列表名默认跑 operatorx/testlists/ 下全部--backends后端过滤器默认跑该平台全部可用后端--strictCI 模式出现任何 error 或零成功行即失败平台未指定时也可通过环境变量OPERATORX_CLUSTER推断如b200_dgx_8x→ nvidia。第三步集群批量提交SLURM在有 SLURM 的 GPU 集群上用提交脚本按「容器镜像 × world_size」自动扇出 sbatch 作业cd $HOME/inferencex/operatorx python3 scripts/submit_run.py nvidia各集群的分区、账户、QoS 等配置说明见 operatorx/CLUSTERS.md完整环境变量清单OPERATORX_PARTITION、OPERATORX_BACKENDS等见 operatorx/README.md。GEMM 基准测试看懂测试列表GEMM 测试列表 testlists/gemm.json 包含 7 万 行数据是一个「数据类型 × 真实形状」的完整矩阵bf16 / fp16 / fp8 / fp4 / mxfp4 / nvfp4以及 3、12、607、8192 等不同 M 维从 decode 单 token 到 prefill 大批量。每条用例就是一个 JSON 对象{ type: gemm, args: { m: 8192, n: 8192, k: 8192, dtype_a: bf16, dtype_b: bf16, dtype_out: bf16 } }新手建议先用 testlists/gemm_perf.json仅 11 个 BF16 用例做冒烟测试确认环境正常后再跑完整目录。Attention 基准测试Prefill 与 Decode 双场景Attention 测试列表 testlists/attention.json 覆盖两类典型推理场景Prefillseq_len_q 4096 / 8192长输入一次处理Decodeseq_len_q 1逐 token 生成KV 序列拉长到 16K每个用例标注了模型预设名name: llama3-8b并覆盖 bf16、fp16、fp8 KV Cache 等精度组合。attention_mla则单独测试 DeepSeek 风格的 MLA 注意力压缩 KV RoPE 分离参数如kv_lora_rank、head_dim_qk_nope等定义见 ops/attention.py。MoE 基准测试算子级的难点与亮点MoE 是当代大模型的主流架构OperatorX 把它拆成三个可独立计时的部分moe_forward整条链路路由门控 专家分发 专家计算 结果聚合作为一个整体计时测的是端到端 MoE 延迟moe_gemm只测专家内部的分组 GEMMgate_up 激活 down排除通信开销dispatch/combine单独测专家并行EP的通信算子列表见 testlists/moe_a2a.json一个独特亮点moe_forward支持expert_distribution参数模拟真实的专家负载分布——uniform理想均衡、zipf少数专家热点近似生产偏斜、single_hot最坏情况所有 token 涌向一个专家。这对评估 dispatch 通信在真实负载下的退化非常实用。MoE 多卡测试需要指定world_size与并行度ep / routed_tp / shared_tpscripts/submit_run.py 会为每个并行度组合单独扇出一个作业。查看与分析基准结果每次运行输出一个 JSON 文件路径为results/platform/cluster/run_id.json结构为{ schema_version: 1, run: { ...: 运行时环境快照硬件、软件版本、集群 }, rows: [ { op: {type: gemm, args: {m: 8192, ...: ...}, backend: torch}, metrics: {latency_us: 1234.56}, status: ok, testlist: gemm } ] }每行的status有三种取值帮你快速判断结果可信度status含义ok成功计时latency_us为 10 次迭代的中位数unsupported该后端未实现此算子/精度自动跳过非错误error运行异常如 OOM附带错误信息与堆栈尾部结果读写逻辑见 operatorx/core/result.py。常见问题速答Q第一次运行应该跑哪些测试列表先跑gemm_perf冒烟11 个用例几分钟确认后端能加载、计时正常再扩展到gemm、attention、moe完整目录。Q为什么结果里看不到某些用例后端没声明该op_type时会静默跳过不产生结果行加--strict参数可强制保留这些记录。QTPU / Trainium 怎么跑这两个平台没有 SLURM直接在实例上运行OPERATORX_CLUSTERv6e_4x python -m operatorxTPU或OPERATORX_CLUSTERtrn3_16x python -m operatorxTrainium详见 operatorx/README.md。QCI 里是怎么跑的OperatorX Sweep 工作流会在 H100/H200/B200/B300/GB200/GB300/MI300X 等 GPU 池上手动触发完整扫描分片调度与产物管理细节见 operatorx/CI.md。关键文件路径速查模块说明与运行方式operatorx/README.md集群访问说明operatorx/CLUSTERS.md算子定义operatorx/ops/测试列表目录operatorx/testlists/各平台 runner 与后端实现operatorx/runners/集群提交脚本operatorx/scripts/submit_run.py平台注册表operatorx/platforms.jsonOperatorX 把「kernel 谁更快」这个模糊问题变成了可复现、可对比、可自动化的标准测量。无论是评估新发布的推理框架版本还是选型 GEMM/Attention 实现它都是算子级基准测试的实用起点 ✅赞分享人工智能大模型模型评测Agent 评测【免费下载链接】InferenceXOpen Source AI Accelerator Research Platform Standard / 开源推理研究平台项目地址https://gitcode.com/gh_mirrors/in/InferenceX点击查看免费下载相关推荐为什么Transmission Remote GUI比内置Web界面更快更强大为什么Transmission Remote GUI比内置Web界面更快更强大 Transmission Remote GUI是一款功能丰富的跨平台前端工具桌面应用Apache SeaTunnel Shopify 源连接器通过 Admin API 采集电商订单与商品数据的完整指南Apache SeaTunnel Shopify 源连接器通过 Admin API 采集电商订单与商品数据的完整指南 本篇技术指南围绕 SeaTunnel 的大模型深度学习算子库后端高性能计算ha_xiaomi_home 安装教程从登录到本地控制米家接入 Home Assistant 一次讲清ha_xiaomi_home 安装教程从登录到本地控制米家接入 Home Assistant 一次讲清 ha_xiaomi_home 是小米官方为 Home智能硬件智能家居物联网后端创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考