LangWatch 自定义仪表盘3 步建好你的第一块监控面板【免费下载链接】langwatchOpen-Source Agent Observability Evals for AI Platform teams. Trace, test, route and govern every agent coding assistant in the company.项目地址: https://gitcode.com/GitHub_Trending/la/langwatch你的 agent 已经在线上跑了三个月。你想回答几个很具体的问题哪个模型的 p95 延迟最高哪些用户只对话一次就再没回来上周评估通过率掉了没有但答案散落在 Trace 列表、评估报告和成本页里每次回答都要手动截图拼 PPT。LangWatch 的自定义仪表盘Dashboards就是为这一步存在的把指标、聚合方式、分组维度和时间粒度组合成图表存进一块面板和团队共享同一份数据。3 步建出第一块自定义仪表盘在左上角的产品切换器里打开 Dashboards。注意它在release_dashboards功能开关后面默认是关闭的需要先在项目设置里开启切换器里才会出现入口。建面板点创建空白面板默认叫 My dashboard或者从 Agent health 模板一键生成模板自带 5 个常用 widget本期概览、今日状态、待关注项等。加图表点Add a widget选指标performance.completion_time选聚合p95再选 groupBy 为metadata.model——按模型分线的延迟趋势图即时渲染出来。拿 API 载荷点图表右上菜单的Show API复制它的 JSON 载荷。这条载荷可以直接喂给 REST 接口取数后面讲 API 的部分都从这里出发。功能全景board 管布局widget 出数据一块仪表盘由两层组成board管布局、范围、时间窗口和刷新频率widget是真正出数的单元。board 头部有一组统一的 period时间窗口Live 到一年默认 30 天和 grain分钟/小时/天/周粒度控件所有 widget 都读这个窗口。board 有三种范围Only me只有你可见、Project项目内可见、Organization组织内每个项目可见但各自读各自的数据。只有 board 的创建者能改范围编辑权限仍跟随你的 analytics 角色权限。数据方面图表读的是analytics.traces、evaluation 和 cost 等预聚合视图而不是原始 trace所以大窗口查询不会拖垮查询层。构建路径有两条可视化构建器适合大多数场景LangWatchQL 工作区需要release_lwql_workbench开关则让你用代码写任意图表widget 由code浏览器沙箱里执行的 TSX和最多 8 条命名查询组成。按模型分组对比 p95 延迟你想做什么确认是哪个模型把平均延迟拖高的。怎么做Add a widget → 指标performance.completion_time→ 聚合p95→ groupBy 选metadata.model→ 图表类型line。如果模型名太长挤在一起把图表类型切成horizontal_bar横条排名更清楚。想看 p50 和 p95 的差距加第二个 series 即可两条线用不同 colorSet 区分。会得到什么一张按模型分色、随时间推进的延迟趋势图时间窗在 board 头部一键切换全组看到的是同一口径的数据。为评估通过率设置告警阈值你想做什么某个 evaluator 的通过率跌破阈值时面板上一眼看见而不是翻报表。怎么做series 选evaluations.evaluation_pass_rate聚合avg关键在key字段——填上你的 evaluator id通过率才会只统计那一个评估器。然后把 graphType 设为monitor_graph并打开monitorGraph.isGuardrail。monitor_graph 会按数值把图表映射成状态色越过阈值直接变红不用自己画阈值线。会得到什么一张始终在盯住单个评估器的状态图异常时先于周报被发现。把图表数据嵌进你自己的系统你想做什么周报系统或内部 Slack 面板里直接展示 LangWatch 的图表。怎么做图表菜单点Show API复制 JSON 载荷POST 到/api/v1/analytics时间窗由startDate/endDate控制curl -X POST https://app.langwatch.ai/api/v1/analytics \ -H X-Auth-Token: $LANGWATCH_API_KEY \ -H Content-Type: application/json \ -d { startDate: 1708434000000, endDate: 1710939600000, series: [ { metric: performance.completion_time, aggregation: p95 } ], groupBy: metadata.model, timeScale: 1 }会得到什么按桶聚合好的数据行渲染交给你自己。载荷里的graphType、series、groupBy、timeScale都是从 Show API 复制来的改几个字段就能复用。用 LangWatchQL 写任意自定义指标你想做什么预定义指标覆盖不了的问题比如每个模型的 p95 延迟按天聚合。怎么做widget 编辑器里写 TSX 代码和命名查询。下面的查询先用run_query验证过再写进 widget代码里用LW.useChartQuery(by_model)取数据SELECT toStartOfDay(OccurredAt) AS day, model, quantile(0.95)(completion_time_ms) AS p95 FROM analytics.traces WHERE OccurredAt subtractDays(now(), 7) GROUP BY day, model ORDER BY day进阶要点取数时注意返回里的completeness报告。state: partial表示部分行缺字段、unpriced表示部分模型没有价格——此时成本合计只是下界应展示成 $830 而不是当成全量。空桶要画成缺口别画成 0否则趋势图会骗人。图表类型与聚合怎么选你的分析目的图表类型典型聚合看趋势line/areaavg、sum看各部分占比随时间变化stacked_area/stacked_barsum、cardinality标签较长的分类排名horizontal_barsum、cardinality两指标相关性scatter—占比快照pie/donnutterms单值 KPI 卡片summary任意阈值状态监控monitor_graphavg指标与聚合的常用搭配请求量用metadata.trace_idcardinality用户数用metadata.user_idcardinality延迟用performance.completion_timep95/p99成本用performance.total_costsum。全部 24 个预定义指标和 10 种聚合的定义见 modules/analytics/contract/src/analytics.chart-series.ts。常见误区错误做法打开切换器找不到 Dashboards以为功能坏了。正确做法release_dashboards默认关闭先在项目设置里打开建 widget 还需要release_lwql_workbench开关。错误做法给一年的窗口配分钟级 grain。正确做法不匹配的粒度会被置灰选 auto 或按窗口取合理粒度别手动硬拉一年分钟数据。错误做法给 Only me 面板配告警和定时报告然后纳闷为什么没收到。正确做法告警与定时报告不读 Only me 面板要发出去就把范围改成 Project 或 Organization。小结LangWatch 自定义仪表盘把 24 个预定义指标、10 种聚合、14 个分组维度组合成 11 种图表board 的范围、周期与刷新控制让同一份数据能分别给运营、工程和管理层出不同粒度的报表。想深入功能细节看 docs/features/dashboards.mdx图表字段的 schema 定义在 modules/dashboard/contract/src/custom-graph.ts。【免费下载链接】langwatchOpen-Source Agent Observability Evals for AI Platform teams. Trace, test, route and govern every agent coding assistant in the company.项目地址: https://gitcode.com/GitHub_Trending/la/langwatch创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考