使用 Telegraf 将指标写入 VictoriaMetrics：完整输出配置指南

使用 Telegraf 将指标写入 VictoriaMetrics完整输出配置指南【免费下载链接】VictoriaMetricsVictoriaMetrics: fast, cost-effective monitoring solution and time series database项目地址: https://gitcode.com/GitHub_Trending/vi/VictoriaMetrics本指南以 VictoriaMetrics 官方数据接入文档 Telegraf.md 为骨架系统讲解如何将 Telegraf 采集到的指标通过 InfluxDB line protocol 写入 VictoriaMetrics。文中覆盖从免认证的最小配置到 Basic Auth、Bearer Token、按测量路由过滤、忽略 TLS 错误等全部官方输出方案并结合仓库源码与 InfluxDB 接入文档深入剖析底层解析与数据转换原理。读完本文你将能够在单机版、集群版与 vmauth 等多种部署形态下为 Telegraf 配置出生产可用的 VictoriaMetrics 输出端。Telegraf 与 VictoriaMetrics 的接入方式概述Telegraf 是 InfluxData 推出的指标采集代理支持从系统、数据库、中间件等数百种来源收集指标。VictoriaMetrics 原生兼容 InfluxDB line protocol因此 Telegraf 无需安装额外插件直接使用其内置的outputs.influxdb输出插件将写入地址从 InfluxDB 改为 VictoriaMetrics 即可完成对接。VictoriaMetrics 接收 InfluxDB 协议数据的组件包括单机版victoria-metrics默认端口 8428写入路径为http://victoriametrics-addr:8428/write集群版vminsert默认端口 8480写入路径为http://vminsert-addr:8480/insert/tenant/influx其中tenant需根据多租户配置替换vmagent默认端口 8429同样可以接收 InfluxDB 协议并负责后续转发与 relabeling。具体端口与组件说明可参考>victoriametrics_urlhttps://victoriametrics_url victoriametrics_usertelegraf victoriametrics_passwordpassword victoriametrics_tokenmy_token在 Telegraf 配置文件中通过在变量名前加$前缀引用这些值例如$victoriametrics_url会被自动替换为/etc/default/telegraf中定义的https://victoriametrics_url。说明/etc/default/telegraf是 Telegraf 服务在启动时读取的环境变量文件具体生效方式取决于你的 init 系统systemd 下通常由EnvironmentFile指定。如果你的环境无法使用该文件请直接替换下方示例中的变量名为实际的 URL、用户名与密码。在 Windows 上要模拟同样的行为可以将变量存储在注册表中详见 InfluxData 官方的 Telegraf Windows 使用说明若使用 InfluxDB v2.x 数据格式传输则应参考 Telegraf 的outputs.influxdb_v2插件文档。最小配置无认证Telegraf 通过outputs.influxdb插件把指标以 InfluxDB line protocol 推送到 VictoriaMetrics。最简配置如下[[outputs.influxdb]] urls [$victoriametrics_url] database victoriametrics skip_database_creation true exclude_retention_policy_tag true content_encoding gzip各关键参数的作用urlsVictoriaMetrics 的 InfluxDB 写入端点地址数组形式可配置多个做负载均衡database逻辑数据库名VictoriaMetrics 会将其映射为db标签写入每条时间序列skip_database_creation true必须设置。VictoriaMetrics 不提供创建数据库的语义该参数避免 Telegraf 在启动时尝试CREATE DATABASE而报错exclude_retention_policy_tag true避免 Telegraf 附加retention_policy标签使写入的标签与 VictoriaMetrics 的时序数据模型保持一致content_encoding gzip启用 gzip 压缩减少网络传输带宽VictoriaMetrics 的 InfluxDB 端点原生支持 gzip 解压通过Content-Encoding请求头识别见 request_handler.go。使用 HTTP Basic Authentication用户名与密码当 VictoriaMetrics 部署在 vmauth 反向代理之后或通过其他方式启用了 HTTP Basic Auth 时在最小配置基础上增加username与password两个选项即可[[outputs.influxdb]] urls [$victoriametrics_url] username $victoriametrics_user password $victoriametrics_password database victoriametrics skip_database_creation true exclude_retention_policy_tag true content_encoding gzipTelegraf 会为每个写入请求附加Authorization: Basic base64(user:password)请求头。VictoriaMetrics 本身不内置用户体系Basic Auth 通常由前置的 vmauth 或负载均衡器校验认证通过后再把请求转发给后端的 VictoriaMetrics 实例。使用 Bearer Token 认证如果认证体系采用 Token 方式例如 vmauth 配置了bearer_token校验则通过http_headers自定义请求头注入 Authorization 头[[outputs.influxdb]] urls [$victoriametrics_url] http_headers {Authorization Bearer $victoriametrics_token} database victoriametrics skip_database_creation true exclude_retention_policy_tag true content_encoding gziphttp_headers是 Telegraf 通用的请求头注入机制此处以Authorization: Bearer token的形式传递令牌。Token 同样可以通过环境变量引用避免明文入库。只路由指定的测量measurement到 VictoriaMetrics当 Telegraf 同时采集了大量测量而你只想把其中一部分转发到 VictoriaMetrics 时使用namepass选项并按逗号分隔列出允许的测量名称[[outputs.influxdb]] urls [$victoriametrics_url] username $victoriametrics_user password $victoriametrics_password database victoriametrics skip_database_creation true exclude_retention_policy_tag true content_encoding gzip namepass [cpu,disk,measurement1,measurement2]namepass是 Telegraf 输出插件的标准过滤机制只有名称命中列表内测量支持通配符如cpu_*的指标才会被发送未命中的测量在本输出端被丢弃不影响其他输出端例如可同时配置另一个outputs.influxdb或outputs.prometheus_client走不同的数据通道。忽略 TLS/SSL 证书错误不推荐当 VictoriaMetrics 的写入端点使用自签名证书或内部 CA且暂时无法导入受信证书时可以添加insecure_skip_verify true跳过证书校验[[outputs.influxdb]] urls [$victoriametrics_url] username $victoriametrics_user password $victoriametrics_password database victoriametrics skip_database_creation true exclude_retention_policy_tag true content_encoding gzip insecure_skip_verify true⚠️ 强烈不建议在生产环境长期使用该选项跳过证书校验意味着无法验证服务端身份存在将指标发送到伪造或劫持站点的风险。更安全的做法是让 Telegraf 信任签发该证书的内部 CA在系统 CA 目录中安装 CA 证书。将上述配置组合使用上述所有选项并非互斥完全可以按需组合。例如同时启用 Basic Auth、gzip 压缩、按测量过滤和证书校验[[outputs.influxdb]] urls [$victoriametrics_url] username $victoriametrics_user password $victoriametrics_password database victoriametrics skip_database_creation true exclude_retention_policy_tag true content_encoding gzip namepass [cpu, mem, net]把该配置块追加到 Telegraf 主配置文件通常是/etc/telegraf/telegraf.conf末尾后重启 Telegraf 服务使配置生效sudo systemctl restart telegraf进阶cluster 版本与outputs.http输出方式除outputs.influxdb外Telegraf 也可以使用通用的outputs.http插件把指标以 Influx line protocol 写入 VictoriaMetrics[[outputs.http]] url http://victoriametrics-addr:8428/influx/write data_format influx non_retryable_statuscodes [400]其中data_format influx指定序列化格式为 InfluxDB line protocolnon_retryable_statuscodes [400]表示对 400 这类客户端错误不进行重试重试也无法修复反而浪费带宽。在集群版中写入地址应指向vminsert的 InfluxDB 端点并根据多租户配置替换tenant存在多个 vminsert 时应在它们之前配置负载均衡。此外部分 Telegraf 插件如 fluentd、Juniper/open-nti、Juniper/jtimon 等会向/query发送SHOW DATABASES查询并期望返回特定的数据库名此时可通过 VictoriaMetrics 的-influx.databaseNames命令行标志传入期望的数据库名列表。详见 integrations/influxdb.md。源码视角Telegraf 数据在 VictoriaMetrics 中如何被解析与转换理解底层处理逻辑有助于排查写入异常。从源码结构看Telegraf 推送的数据在 VictoriaMetrics 侧经过如下环节HTTP 入口与流式/批量模式判定以vminsert为例request_handler.go 中的InsertHandlerForHTTP负责解析请求读取precision、db查询参数与Content-Encoding请求头并依据Stream-Mode: 1请求头决定是否启用流式处理。批量解析非流式模式下请求体整体读入内存后一次性解析单请求体积上限由-influx.maxRequestSize控制默认 64MB对应 streamparser.go 中的定义。流式解析流式模式下逐行处理单行上限由-influx.maxLineSize控制默认 256KB非法行会被跳过并记录日志合法行即使客户端中途断开也会立即入库。可通过-influx.forceStreamMode标志对所有请求强制启用流式模式见 streamparser.go。流式模式能显著降低内存占用并提升写入吞吐官方建议在追求写入性能时开启。数据转换解析后的 Influx 行会被映射为 Prometheus 风格的时序数据核心逻辑见 request_handler.go 的insertRowsdb查询参数映射为db标签可通过-influxDBLabel覆盖标签名除非 Influx 行本身已包含db标签字段名转换为以{measurement}_{field_name}形式拼接的时序名分隔符可用-influxMeasurementFieldSeparator修改默认_当测量只有一个字段时可用-influxSkipSingleField直接用{measurement}作为时序名标签tags原样映射为 Prometheus 标签非数值字段值被转换为 0设置-usePromCompatibleNaming时指标名与标签名会按 Prometheus 命名规范将非法字符替换为_。时间戳精度InfluxDB line protocol 默认使用纳秒时间戳VictoriaMetrics 内部以毫秒存储会自动将秒、微秒、纳秒精度的时间戳统一转换为毫秒。关于这些转换规则的完整说明与示例包括 Influx 行foo,tag1value1,tag2value2 field112,field240如何转换为foo_field1{tag1value1, tag2value2} 12等可参考 integrations/influxdb.md 的 Data transformations 一节。底层 line protocol 的逐行解析实现位于 lib/protoparser/influx/parser.go其测试用例见同目录 parser_test.go。写入性能调优要点单请求最大体积由-influx.maxRequestSize限制默认 64MBTelegraf 端注意flush_interval与批量大小不要持续超出该上限追求更高吞吐与更低内存时为所有请求启用流式处理-influx.forceStreamMode或在 Telegraf 端通过自定义头Stream-Mode: 1按请求开启如需通过 TCP/UDP 直接接收 InfluxDB line protocol可使用-influxListenAddr标志TCP 与 UDP 接收端始终使用流式模式。常见问题排查启动时报 database creation failed检查是否设置了skip_database_creation trueVictoriaMetrics 不提供数据库创建语义。写入 400/解析错误核对测量名、标签值中是否包含未转义的换行符。Influx line protocol 规范要求原始换行符不得出现在带引号的标签或字段值内部Telegraf 采集的字段如 JVM 的SystemProperties.line.separator可能携带原始换行可在 Telegraf 端用processors.regex处理器将其转义为\\n后再发送完整示例配置见 integrations/influxdb.md。指标名与预期不符默认时序名为{measurement}_{field}如希望直接使用测量名或字段名结合-influxSkipSingleField、-influxSkipMeasurement与-influxMeasurementFieldSeparator调整。指标未按预期过滤确认namepass中的测量名与 Telegraf 实际输出的 measurement 完全一致可用telegraf --test预览输出确认。参考资源本文核心来源data-ingestion/Telegraf.mdInfluxDB 协议接入与数据转换详解integrations/influxdb.md数据接入总览与默认端口data-ingestion/README.md写入路径处理源码app/vminsert/influx/request_handler.go流式解析与参数定义lib/protoparser/influx/stream/streamparser.goLine protocol 解析器实现lib/protoparser/influx/parser.go【免费下载链接】VictoriaMetricsVictoriaMetrics: fast, cost-effective monitoring solution and time series database项目地址: https://gitcode.com/GitHub_Trending/vi/VictoriaMetrics创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考