深入 Spark SQL Metrics(第六部分):实战——TPC-DS q99 的 Gluten 指标全解读

SQL Metrics 系列第六部分。以 TPC-DS q99(SF10000,Gluten/Velox)为例,逐算子解读每个指标,展示如何从指标中读懂查询执行的全貌。

2026年4月2日 · 6 分钟 · Kent Yao

深入 Spark SQL Metrics(第五部分):Gluten 指标收集的内部机制

SQL Metrics 系列第五部分。Gluten 如何将 Substrait 计划节点映射到 Velox 算子、跨管道聚合指标、遍历 MetricsUpdaterTree,以及聚合子阶段和 Shuffle 指标的内部机制。

2026年4月2日 · 3 分钟 · Kent Yao

深入 Spark SQL Metrics(第二部分):内部机制与 AQE 的运行时决策

SQL Metrics 三部曲的第二部分。指标如何从任务流向Driver,以及自适应查询执行(AQE)如何利用 Shuffle 统计信息在运行时重写查询计划。

2026年4月1日 · 3 分钟 · Kent Yao

深入 Spark SQL Metrics(第三部分):扩展 API、UI 渲染与 REST API

SQL Metrics 三部曲的第三部分。如何通过 DataSource V2 API 扩展自定义指标、UI 如何渲染指标、以及如何通过 REST API 编程查询指标。

2026年4月1日 · 4 分钟 · Kent Yao

深入 Spark SQL Metrics(第四部分):Gluten 如何扩展指标系统

SQL Metrics 系列的第四部分。Apache Gluten 如何将 Velox/ClickHouse 原生指标桥接回 Spark SQL Metrics 框架,添加了 60+ 个原生 Spark 没有的指标。

2026年4月1日 · 6 分钟 · Kent Yao

深入 Spark SQL Metrics(第一部分):类型、完整参考和含义

Spark SQL Metrics 三部曲的第一部分。涵盖 5 种指标类型、100+ 指标的完整参考,以及如何正确解读 Spark UI 中的指标数字。

2026年4月1日 · 3 分钟 · Kent Yao

Spark Declarative Pipelines:数据管道的声明式革命

Apache Spark 4.1 引入了 Spark Declarative Pipelines(SDP),一个全新的声明式数据管道框架。作为 Spark PMC 成员,我来解读这个框架的设计哲学、核心概念,以及它如何改变数据工程的开发方式。

2026年3月28日 · 2 分钟 · Kent Yao

spark-advisor:AI 驱动的 Spark 性能工程师

spark-advisor 是一个 Agent Skill,将你的 AI 编程助手变成 Spark 性能工程师——诊断慢作业、检测数据倾斜、对比基准测试、生成可操作的调优建议。

2026年3月20日 · 2 分钟 · Kent Yao

spark-history-cli:让 Spark History Server 对 AI Agent 友好

spark-history-cli 将 Spark History Server 带到你的终端——一个交互式 REPL 和一次性命令行工具,覆盖全部 20 个 REST API 端点。列出应用、检查作业、深入 Stage、查看 SQL 执行、下载事件日志,无需打开浏览器。还可以作为 GitHub Copilot CLI 技能使用。

2026年3月18日 · 3 分钟 · Kent Yao

SQL 执行详情页终于能直观展示作业运行状态了

Spark Web UI 的 SQL 执行详情页过去只用逗号分隔的 ID 展示关联作业。现在它有了完整的 Associated Jobs 表格,包含状态、耗时、Stage 进度和 Task 进度条——让你无需逐个点击即可调试 SQL 查询。

2026年3月14日 · 1 分钟 · Kent Yao