深入 Spark SQL Metrics(第六部分):实战——TPC-DS q99 的 Gluten 指标全解读
SQL Metrics 系列第六部分。以 TPC-DS q99(SF10000,Gluten/Velox)为例,逐算子解读每个指标,展示如何从指标中读懂查询执行的全貌。
SQL Metrics 系列第六部分。以 TPC-DS q99(SF10000,Gluten/Velox)为例,逐算子解读每个指标,展示如何从指标中读懂查询执行的全貌。
SQL Metrics 系列第五部分。Gluten 如何将 Substrait 计划节点映射到 Velox 算子、跨管道聚合指标、遍历 MetricsUpdaterTree,以及聚合子阶段和 Shuffle 指标的内部机制。
SQL Metrics 三部曲的第二部分。指标如何从任务流向Driver,以及自适应查询执行(AQE)如何利用 Shuffle 统计信息在运行时重写查询计划。
SQL Metrics 三部曲的第三部分。如何通过 DataSource V2 API 扩展自定义指标、UI 如何渲染指标、以及如何通过 REST API 编程查询指标。
SQL Metrics 系列的第四部分。Apache Gluten 如何将 Velox/ClickHouse 原生指标桥接回 Spark SQL Metrics 框架,添加了 60+ 个原生 Spark 没有的指标。
Spark SQL Metrics 三部曲的第一部分。涵盖 5 种指标类型、100+ 指标的完整参考,以及如何正确解读 Spark UI 中的指标数字。
Spark Web UI 的 SQL 执行详情页过去只用逗号分隔的 ID 展示关联作业。现在它有了完整的 Associated Jobs 表格,包含状态、耗时、Stage 进度和 Task 进度条——让你无需逐个点击即可调试 SQL 查询。
Spark SQL 执行计划可视化迎来重大升级——紧凑节点标签、可点击的指标面板,以及让 Join 膨胀一目了然的边标签。