跳转至

release-2.30

功能更新

  • 导出任务：支持将导出结果写入内表

  • 导出任务：支持动态增加和减少字段；向已有表追加数据时，不影响历史数据

  • 告警中心：新增邮件、钉钉、飞书、企业微信和 WebHook 等告警推送渠道，并支持自定义告警模板

  • 数据源表：支持维护数据源表字段，可手动修改字段类型，并支持批量维护字段及修改精度

  • 物化改写：优化物化改写逻辑，提升超大 SQL 和多层视图嵌套场景下的引擎 Plan 性能，缩短查询耗时

  • SQL 函数：新增支持 TRY_CAST 和 CONCAT_WS 函数

  • 权限管理：优化资产授权，新增 GRANT、REVOKE、SHOW GRANTS SQL 语法，支持通过 SQL 对 CATALOG/SCHEMA/TABLE 级别资源进行授权、回收和查询权限，详见 PERMISSION

  • 物化构建：新增支持多表增量构建，在满足增量字段输出及算子等条件时，可选择多张源表的增量字段组合。支持追加写入（INSERT）、合并写入（MERGE）和删除后写入（DELETE_INSERT）模式；MERGE 可显式开启 LEFT JOIN 支持，DELETE_INSERT 可按受影响键删除旧结果并重算对应范围。适用于使用 Spark 构建并写入 Iceberg 的非分区投影，详见投影增量构建。

  • 模型管理：支持模型创建、编辑、发布和版本查看，可全量生成或智能推荐模型视图；支持模型表加工列、过滤和虚拟视图配置。查询时可通过 model.id Hint 限定模型关联投影。

  • 查询级智能加速：新增查询级智能投影策略和“待加速查询”，可按用户或用户组、查询耗时和频次识别待加速查询，支持自动创建或人工确认创建投影，以及批量加速、忽略、恢复和删除关联投影。

  • 投影批量创建：支持选择多个视图批量创建投影、创建后立即刷新，并展示各投影的创建结果。

  • 增量水位管理：投影详情支持查看各来源字段的当前增量水位，并在满足条件时修改水位。修改影响下一次增量构建的数据范围，不会立即触发构建。

  • 下推构建配置：投影下推写入的分批读取支持“自动推荐”和“手动配置”；更新记录支持展示临时表清理阶段及失败详情，详见投影下推写入。

  • 内表操作：支持通过 UPDATE 和 DELETE SQL 更新、删除内表数据。

  • 数据服务：请求参数支持默认值和必填设置，并同步用于参数展示与服务测试。

  • UDF 下推映射：支持为已有 UDF 按目标 catalog 配置源端表达式和参数占位符，在查询下推到对应 catalog 时应用映射。

  • 用户级配置与执行策略：支持通过 SET USER、SHOW USER VARIABLES 和 RESET USER 设置、查看和重置用户级配置；支持通过 planner.catalog.rules 按用户和 catalog 配置自动选择或“全物化／全下推”执行计划模式，详见配置选项。

  • Tardis 集群节点：平台管理新增节点列表，支持查看节点 ID、IP 地址和节点角色，并手动刷新。

优化功能

  • 修复数据服务编辑后保存不生效的问题。
  • 修复多个 PostgreSQL 函数的翻译问题。
  • 修复多个 SQL Server 函数翻译问题。
  • 修复多个 GaussDB 函数翻译问题。
  • 修复多个 HUAWEI_DWS 函数翻译问题。
  • 修复多个 ClickHouse 函数翻译问题。
  • 修复在某些下推查询场景下 SQL 上别名丢失的问题。
  • 修复 array_agg 函数中排序丢失的问题。
  • 优化了方言翻译，减少字段裁剪引入的不必要子查询。
  • 优化了命中加速后的 SQL 长度，增加 SQL 的可读性。
  • 优化 HUAWEI_DWS 元数据采集，支持主键、索引和字段 NDV 等统计信息采集。
  • 优化了特定 SQL 场景下对存储的访问频次，降低存储 CPU 使用率。
  • 优化了存储的空间利用率，降低存储的使用和存储的内存占用。
  • 投影配置页面可以手动关闭增量更新，不再自动推导。
  • 优化 SQL plan 性能，减少了大量算子的重复遍历，降低 AIR CPU 占用率。
  • 优化了增量配置的推断，现在不会因为其他相同逻辑的投影导致增量配置推断失败。
  • 数据源连接状态：区分已保存的连接检测状态与主动连通性测试结果。
  • 安全性：加强计算引擎连接凭据的加密存储和日志脱敏，并升级相关依赖。
  • StarRocks 兼容性：修复日期解析、正则替换和包含 NULL 的布尔表达式翻译问题。
  • 数据类型兼容性：修复 PostgreSQL serial 类型映射、MySQL TINYINT(1) 布尔类型兼容，以及 SQL Server datetimeoffset 结果序列化问题。
  • 物化改写正确性：修复 COUNT 改写时补偿过滤字段丢失的问题，避免使用包含额外一对多 LEFT JOIN 的不适用投影。
  • 投影生命周期：修复投影重复回收、删除期限重置及依赖图汇合边丢失的问题。
  • 下推构建清理：修复源端临时表命名和清理异常，完善投影生效后的清理处理。
  • 查询稳定性：修复规划阶段超时未生效、超时轮询返回 HTTP 500，以及 Kyuubi 任务记录持续增长和大计划超时处理导致的内存问题。
  • 工作簿：修复 SQL 分号切分、多个编辑器同时触发执行、从视图跳转时初始 SQL 被草稿覆盖，以及执行按钮状态不同步的问题。
  • 元数据查询：修复表数量超过分页上限时部分表名丢失的问题。