TDengine 3.3.7.5 版本说明：数据接入、连接器时区与稳定性全面增强

TDengine 3.3.7.5 版本说明数据接入、连接器时区与稳定性全面增强【免费下载链接】TDengineHigh-performance, scalable time-series database designed for Industrial IoT (IIoT) scenarios项目地址: https://gitcode.com/GitHub_Trending/tde/TDengineTDengine 3.3.7.5 于2025-08-28发布是 3.3.x 系列的一次功能增强与稳定性维护版本。本版本围绕数据接入taosX、Kafka、MQTT、S3、连接器能力C 连接器、ODBC、taosBenchmark、taosdump以及 Explorer 与流计算三大主线展开共包含 5 项特性、14 项优化与 17 项修复。读完本文你将全面掌握 3.3.7.5 的新增能力、关键配置参数如 S3 上传的verifyPeer、Explorer 的EXPLORER_SKIP_REGISTER环境变量以及各修复项背后的底层原因。本文对应仓库文档docs/zh/17-release-history/03-notes/3.3.7.5.md并结合作者所在仓库的源码实现展开解读。版本定位与发布信息项目内容版本号3.3.7.5发布时间2025-08-28版本类型3.3.x 系列维护版本特性 优化 修复特性5 项优化14 项修复17 项从内容构成看3.3.7.5 同时兼顾了向外扩展接入生态与向内修复稳定性两个方向taosX 新增 ORC 文件导入、ODBC 支持 ADO 接口等属于能力扩展而长查询内存回收竞争条件崩溃、批量建流stream task lost、文件恢复Failed to open file持续报错等修复则直指生产环境的高频问题。新特性详解1. taosX 支持导入 ORC 文件taosX 作为 TDengine 的数据接入组件本版本新增了对ORCOptimized Row Columnar文件格式的导入支持。ORC 是 Hadoop 生态中广泛使用的列式存储格式常与 Hive、Spark、Presto 等大数据组件配套使用。该特性的落地意味着用户可以将 Hive 数仓中导出的 ORC 文件直接通过 taosX 同步进 TDengine打通离线数仓 → 时序数据库的数据链路而无需先转换为 CSV 等中间格式。说明taosX 为独立的数据接入组件其代码与文档位于仓库外此处仅记录版本说明中明确的功能变更。2. C 连接器支持在 WebSocket 连接上设置时区C 连接器是 TDengine 最基础的客户端库源码位于 source/client。3.3.7.5 之前通过 WebSocket 建立的连接在时区处理上存在限制本版本允许用户在 WebSocket 连接上显式设置时区。从底层实现看时区一直是 C 连接器连接上下文的重要组成部分。在 clientInt.h 中连接对象维护了timezone、timezoneName原始 IANA 时区名与timezoneExplicit三个字段clientEnv.c 中则会在建立连接时快照当前客户端时区到会话时区。具体到 SQL 层面可通过SET TIMEZONE或ALTER LOCAL TIMEZONE在连接级指定时区clientImpl.c 中通过taos_options_connection与TSDB_OPTION_CONNECTION_TIMEZONE选项完成校验与下发无效时区会返回 Invalid timezone 错误。WebSocket 连接上的时区设置使得通过 WS 协议访问的客户端如浏览器端、跨时区云服务也能获得与原生连接一致的时区语义避免时间字段换算错乱。3. 修复含虚拟表查询时建流会指向错误的数据库这是一项容易被忽略但影响很大的修复。虚拟表Virtual Table源码可见于 source/libs/executor 与 source/dnode/vnode 的实现在查询中涉及多个数据库上下文。此前在包含虚拟表查询的语句上创建流计算任务时流任务可能被错误绑定到某个虚拟表所属的数据库而不是用户指定的目标数据库导致数据写入错库。3.3.7.5 修正了建流时的数据库解析逻辑保证流任务指向正确的数据库。4. ODBC 支持 ADO 接口ODBC 驱动本版本新增了对ADOActiveX Data Objects接口的支持。ADO 是 Windows 平台上基于 COM 的数据访问模型广泛应用于 VB、ASP、VBScript 等传统 Windows 应用。此前通过 ODBC 使用 ADO 访问 TDengine 会受限本版本补齐该能力后存量 Windows 应用可以无痛迁移数据源指向 TDengine。5. taosAdapter 支持记录 SQL 到 CSVtaosAdapter位于 tools/keeper 之外的独立组件作为 TDengine 的 RESTful / 第三方协议适配层本版本支持将经过适配层执行的 SQL 记录到 CSV 文件。该能力对两类场景非常实用审计完整保留通过 HTTP 协议提交的 SQL 语句便于追溯与合规排障当应用通过 REST 接口报错时可凭借 CSV 中的 SQL 记录还原现场、离线复现。优化项详解1. Explorer 可用环境变量 EXPLORER_SKIP_REGISTER 跳过注册TDengine ExplorerWeb 图形化管理界面在首次使用时通常需要引导用户完成注册/登录流程。3.3.7.5 引入环境变量EXPLORER_SKIP_REGISTER设置后可以跳过注册环节适用于内网离线部署无需联网注册的环境自动化脚本/容器化部署如通过 packaging/docker 编排时希望免交互初始化。用法示例Linux bashexport EXPLORER_SKIP_REGISTER1 # 或 EXPLORER_SKIP_REGISTER1 ./taos-explorer2. 减小 taosX 二进制体积taosX 二进制在直接编译时体积减小约60MB压缩后体积降低约15MB。对于通过容器镜像或安装包分发 taosX 的场景可显著降低下载与部署成本。3. Explorer 登录用户名中的空格可被忽略此前用户在 Explorer 登录时若用户名首尾带有误输入的空格会直接登录失败本版本对用户名做去空格处理提升登录体验。4. C WebSocket 连接支持自动重连参数结合前述 C 连接器的 WebSocket 能力增强本版本为 C WebSocket 连接补充了自动重连参数。在长连接场景如数据订阅、连续查询、后台写入任务中网络抖动导致的连接断开此前需要应用层自行处理重连逻辑现在可通过连接参数开启自动重连由客户端库接管断线恢复降低应用复杂度。5. Windows 下支持使用 DDD 格式化时间DDD表示一年中的第几天001–366是时间格式化中的一个特殊占位符。此前该格式仅在部分平台可用本版本在 Windows 下补齐了对DDD的支持。从源码看TDengine 的日期时间解析模块 ttime.c 定义了TSFKW_DDD关键字注释为 Day of year 001-366并在 L2139 与 L2175 注册了大写DDD与小写ddd两种写法格式串如yyyy/mm/dd DDD、DDD-DD-D均可用于TIMESTAMP/TIMESTAMPDIFF等时间解析场景参见 commonTests.cpp 中的用例。需要说明的是纯yyyy-mm-DDD形式由于 C API 无法转换为正确的绝对时间戳目前仍返回不支持见 ttime.c 的注释使用时请搭配年/月等上下文信息。6. Explorer 开源版面板不再弹出 taosX 相关错误开源版本Community Edition不包含 taosX 商业组件但此前 Explorer 面板在加载时仍可能尝试探测 taosX 服务并弹出错误提示。本版本对开源版做了探测逻辑隔离面板页面不再出现无关的 taosX 报错界面更干净。7. 新增 verifyPeer 参数上传 S3 数据时可跳过证书验证针对将数据上传到 S3 对象存储的场景本版本新增verifyPeer参数允许用户在上传 S3 数据时跳过 TLS 证书校验。该参数的底层实现位于共享存储模块 s3.c结构体SSharedStorageS3中定义了bool verifyPeer字段L40在解析访问串时通过taosStrcasecmp(key, verifyPeer)匹配并解析布尔值L153-L154创建实例时仅当协议为 HTTPS且verifyPeer为 true 时才置上S3_INIT_VERIFY_PEER标志L212-L214。完整的 S3 访问串格式如下注释原文见 s3.cs3:endpoints3.amazonaws.com;bucketmybucket;uriStylepath;protocolhttps;accessKeyIdACCESS_KEY_ID;secretAccessKeySECRET_ACCESS_KEY;regionus-east-2;chunkSize64;maxChunks10000;maxRetry3;verifyPeerfalse使用场景当 S3 服务使用自签名证书或内网私有 CA 时证书校验会导致上传失败此时将verifyPeerfalse加入访问串即可跳过校验完成上传。注意关闭证书校验会降低传输安全性存在中间人攻击风险仅建议在可信内网或自建对象存储环境中使用。8. 改造 S3 数据迁移的状态控制机制在新增verifyPeer的同时3.3.7.5 对 S3 数据迁移的状态控制机制进行了整体改造目标是提升状态流转的精确性与执行效率。该优化与第 7 项共同构成了本版本对 S3 上传链路的完整改进。9. Explorer 配置 OPCUA 枚举变量超时OPCUAOPC Unified Architecture是工业物联网场景中常用的工业协议taosX 支持通过 OPCUA 采集点位数据。本版本允许在 Explorer 中配置 OPCUA枚举变量枚举型点位的读取超时时间避免因个别点位响应缓慢而拖慢整轮采集。10. SHOW CREATE TABLE 不再输出压缩信息SHOW CREATE TABLE用于查看表的完整建表语句其执行入口位于 command.c分别对应普通表、虚拟表、超级表三种场景。3.3.7.5 优化了该命令的输出内容不再包含压缩COMPRESSION相关的建表参数使输出更聚焦于表结构与主键信息同时避免与后续压缩策略调整产生配置漂移。11. 共享存储支持 NASTDengine 的共享存储能力见 source/libs/tss此前主要对接对象存储如 S3本版本扩展为支持NAS网络附加存储文件系统。对于已部署 NAS 且希望以共享存储模式运行多副本/多节点的用户可直接复用既有存储设施降低存储成本与迁移复杂度。12. taosBenchmark 支持 WebSocket 下的重试taosBenchmark 是 TDengine 官方的性能压测工具源码位于 tools/taosBenchmark。此前通过 WebSocket 协议执行压测时若连接发生抖动压测会直接中断本版本为 WebSocket 模式增加了重试机制提升长时压测的健壮性避免偶发网络问题污染压测结果。13. 优化 Kafka 数据接入性能taosX 的 Kafka 数据接入链路在本版本获得性能优化。对于以 Kafka 作为消息总线、实时接入 TDengine 的流式场景物联网设备上报、日志采集等该优化可降低端到端延迟或提升单位时间吞吐。14. 未启动 taosX 时联通性检查报告实际错误在 Explorer 或客户端发起数据源联通性检查时如果 taosX 组件本身未启动此前可能返回笼统的失败提示难以定位问题本版本改为报告实际错误如连接被拒、服务未监听等帮助用户快速区分taosX 未启动与数据源本身不可达两类问题。关键修复详解3.3.7.5 的 17 项修复覆盖数据同步、流计算、查询引擎、存储恢复、连接器与 Explorer 等多个子系统以下按主题归类解读。数据同步与导入类修复taosX influxdb 1.x 查询慢和 OOM 问题针对 InfluxDB 1.x 数据源同步时查询缓慢及内存溢出OOM的问题优化了分批拉取与内存管理策略。对长期运行的大库同步任务稳定性提升明显。修复Explorer 使用非默认密码创建数据同步报密码错误此前在 Explorer 中当 taosX 使用非默认密码连接 TDengine 实例时创建数据同步任务会误报密码错误本版本修正了凭据传递逻辑。修复Oracle 数据导入 Decimal 类型错误Oracle 源库中的Decimal/Number类型在导入过程中可能出现精度或类型映射错误本版本修正了 Decimal 类型映射。修复Explorer CSV 导入带有 value 列时报错当 CSV 文件中包含名为value的列时与 TDengine 的隐式 value 列概念冲突导入会报错本版本处理了该命名冲突场景。修复Kafka 导入同一字段类型不同导致出现 NULL 值Kafka 消息中同一字段在不同消息里类型不一致如有时为字符串、有时为数字时导入可能产生 NULL本版本加强了对字段类型不一致的容错处理。修复MQTT 特殊情况下获取数据超时MQTT 数据接入在特定网络/消息场景下可能出现读取超时本版本优化了超时与重试行为。修复Explorer Transform varbinary 类型自动对应数据同步的 Transform字段变换环节中varbinary 类型的自动映射关系得到修正。流计算类修复批量创建流任务时偶发的 stream task lost 错误批量建流多语句创建多个流任务时偶发出现stream task lost错误导致部分流任务创建失败或状态丢失本版本修复了批量场景下的任务注册竞争问题。修复Explorer 删除流计算报错 Database not specified在 Explorer 中删除流计算任务时可能误报 Database not specified现已修正删除路径上的数据库上下文解析。修复流计算使用 CALC_NOTIFY_ONLY 选项时的 crash 问题流计算在特定优化选项CALC_NOTIFY_ONLY下可能触发崩溃本版本修复了该选项对应的执行路径。该选项用于仅计算通知不落盘的场景相关实现可结合 source/libs/new-stream 中的流计算框架理解。查询引擎与存储类修复长查询的内存回收过程中因竞争条件导致的崩溃长时间运行的查询在内存回收内存池归还/释放过程中存在竞争条件race condition可能引发崩溃。该问题与 TDengine 底层内存管理机制见 source/libs/executor 的执行器实现相关修复后长查询稳定性显著提升。修复文件恢复过程中文件不存在导致 Failed to open file 持续报错数据库文件恢复WAL 回放 / 数据文件重建见 source/libs/wal期间若被引用的文件不存在会持续输出Failed to open file错误本版本在恢复流程中增加了文件存在性检查与跳过逻辑避免错误风暴。修复taosdump 微秒纳秒数据库时间范围导出报错taosdump备份导出工具源码位于 tools/taosdump在导出微秒µs或纳秒ns精度数据库的时间范围-S/-E参数时报错本版本修正了高精度时间戳在导出边界上的处理。触发表与鉴权类修复触发表 tag 为 null 导致写入表名无法计算在使用触发表如通过触发器/订阅写入目标表的场景中当 tag 值为 NULL 时目标表名无法计算导致写入失败本版本补充了 NULL tag 的兜底处理。修复ipv6 下 taoskeeper 记录审计日志报错 value too long for column/tag: client_address在 IPv6 网络环境下客户端地址client_address字段长度可能超出审计日志表的列/tag 定义IPv6 地址文本最长可达 45 字符导致 taoskeeper 记录审计日志报错本版本扩展了相应字段容量。Explorer 类修复Explorer 超级表多个 tag 值相同时多级标签显示子表错误当超级表的多个 tag 取值相同时Explorer 的多级标签tag 树形展示中会错误显示子表归属本版本修正了多级标签的分组键逻辑。修复Explorer 在 Nginx 服务重启后连接报错Explorer 部署在 Nginx 反向代理之后时Nginx 重启可能使 Explorer 连接状态异常并报错本版本增强了连接的自愈能力。升级与验证建议针对 3.3.7.5 的变更建议按以下顺序规划升级阅读完整版本说明本版本为 3.3.x 增量维护版本升级路径与兼容性说明以官方发布渠道为准。关注连接器同步升级若使用了 C 连接器的 WebSocket 时区/自动重连新能力或 ODBC 的 ADO 接口请同步升级对应连接器库确保客户端与服务端能力匹配。验证 S3 上传链路若使用 S3 共享存储或数据迁移升级后先验证访问串可加入verifyPeerfalse测试自签名证书场景并观察状态控制机制改造后的任务流转。回归流计算与触发表场景本版本涉及多项流计算与触发表修复建议对存量流任务执行创建、删除、批量创建的回归测试。关注 taosdump 备份若管理微秒/纳秒精度数据库升级后对时间范围导出做一次冒烟测试确认不再报错。小结TDengine 3.3.7.5 是一个接入生态扩容 稳定性加固并重的版本taosX 的 ORC 导入与 S3 上传优化含verifyPeer参数拓宽了数据进出的边界C 连接器的 WebSocket 时区与自动重连能力提升了客户端体验而长查询内存回收竞争、流任务丢失、文件恢复报错风暴、IPv6 审计日志超长等一系列生产级问题的修复则让 3.3.x 系列在真实业务负载下更加可靠。对于以数据接入和跨协议同步为主要场景的部署本版本值得优先升级验证。【免费下载链接】TDengineHigh-performance, scalable time-series database designed for Industrial IoT (IIoT) scenarios项目地址: https://gitcode.com/GitHub_Trending/tde/TDengine创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考