Skip to content

Commit e398278

Browse files
morningmanclaude
andcommitted
[doc](catalog) apache#65185 batch-0: H4 design + track-off; record H1/H2 hive scope
H4 DONE (03f4c12). Records the batch-0 scope decision: adversarial verification confirmed H1/H2 are NOT hudi-only — HiveConnectorMetadata's byte-identical prune block silently drops rows too. User signed off on "fix both copies in place" (no shared-helper extraction); D-PRUNE stays deferred as tracked design debt. Co-Authored-By: Claude Opus 4.8 <[email protected]> Claude-Session: https://claude.ai/code/session_01NoUy5UkBMkyE9pqSH84CR3
1 parent 03f4c12 commit e398278

2 files changed

Lines changed: 63 additions & 3 deletions

File tree

‎plan-doc/task-list-65185-reverify-fixes.md‎

Lines changed: 5 additions & 3 deletions
Original file line numberDiff line numberDiff line change
@@ -28,7 +28,7 @@ Legend:⬜ todo / 🔄 in progress / ✅ done / ⏸ 挂起(需决策/live)
2828
| 1 | **H1** | 🔴高 | hudi | 分区名不 unescape→丢行 | ⬜ | ⬜ | ⬜ | ⬜ |
2929
| 2 | **H2** | 🔴高 | hudi | datetime 分区谓词 ISO→0 行 | ⬜ | ⬜ | ⬜ | ⬜ |
3030
| 3 | **H3** | 🔴高 | hudi | HMS 名当存储路径→非 hive-style 带 filter 0 split | ⬜ | ⬜ | ⬜ | ⬜ |
31-
| 4 | **H4** | 🔴高 | hudi | 混大小写 Avro→JNI 崩 | ⬜ | ⬜ | ⬜ | ⬜ |
31+
| 4 | **H4** | 🔴高 | hudi | 混大小写 Avro→JNI 崩 | ✅ | ✅ | ✅ | ✅ |
3232
| 5 | **M1** | 🟠中 | fe-core | TABLESAMPLE 插件路径静默全表扫 | ⬜ | ⬜ | ⬜ | ⬜ |
3333
| 6 | **M2** | 🟠中 | hive | 翻闸 hive 丢批量/异步 split | ⬜ | ⬜ | ⬜ | ⬜ |
3434
| 7 | **M3** | 🟠中 | fe-core | MC batch 闸门 `!=NOT_PRUNED`→`!isPruned` | ⬜ | ⬜ | ⬜ | ⬜ |
@@ -100,7 +100,7 @@ Legend:⬜ todo / 🔄 in progress / ✅ done / ⏸ 挂起(需决策/live)
100100
- **Test intent**:非 hive-style 表断言「带 filter 分区集 == 不带 filter」(RED:带 filter 0 split)。live e2e gated。
101101

102102
### H4 — hudi 混大小写 Avro → JNI/MOR reader 崩 · reverify §2 H4
103-
- [ ] **H4**(最小,建议先做)
103+
- [x] **H4**(最小,建议先做) · DONE `03f4c12dffa`(设计 `designs/FIX-H4-design.md`)
104104
- **现码**:`HudiScanPlanProvider.planScan:180-181` `.map(Schema.Field::name)`(原始大小写)→ `HudiScanRange:220` → BE `HadoopHudiJniScanner.initRequiredColumnsAndTypes:227-229` 对 lowercase `requiredField` 精确 `containsKey`→throw。
105105
- **Fix**:`planScan:181` 改 `.map(f -> f.name().toLowerCase(java.util.Locale.ROOT))`(与 `HudiConnectorMetadata.avroSchemaToColumns:905`、`HudiSchemaUtils:137` 一致);列类型顺序不变。
106106
- **Files**:`HudiScanPlanProvider.java`。
@@ -227,4 +227,6 @@ Legend:⬜ todo / 🔄 in progress / ✅ done / ⏸ 挂起(需决策/live)
227227

228228
> 每完成一条:此处记 `<id> DONE <commit> — 一句话` + 勾总表 + 更新 `HANDOFF.md`。
229229
230-
- (尚未开始)
230+
**⭐ 批次 0 范围决策(用户 2026-07-11 签字)**:对抗 agent 已证实 **H1/H2 不是 hudi 独有——`HiveConnectorMetadata` 逐字节相同的剪枝块(parsePartitionName/matchesPredicates/extractLiteralValue)同样静默丢行**(fe-core 算出正确 typed 分区集但 hive `planScan` 丢弃、只认 applyFilter 那份 bug 结果)。用户选 **「两份就地各修」**(选项 2):H1/H2 在 hive 和 hudi **两份副本各自就地修**(不抽共享 helper),H3/H4 仅 hudi。**D-PRUNE 抽取继续延后**为 ⚪ 设计债(reverify §4 DUPLICATION:partition-prune)。
231+
232+
- **H4** DONE `03f4c12dffa` — lowercase JNI reader 列名(hudi-only;`jniColumnNames` helper + UT)。
Lines changed: 58 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,58 @@
1+
# FIX-H4 — hudi 混大小写 Avro 列名 → JNI/MOR reader 崩
2+
3+
> 来源:`plan-doc/task-list-65185-reverify-fixes.md` §H4;证据 `plan-doc/reviews/catalog-spi-review-65185-reverify-2026-07-11.md` §2 H4。
4+
> 批次 0 第 1 条(最小、hudi-only)。
5+
6+
## Problem
7+
8+
翻闸后 hudi-on-HMS 表若列名混大小写(如 `Id/Name/Addr`)**且**走 MOR-带-log 或 `force_jni`,每个 JNI split 硬崩、整查询失败。
9+
10+
## Root Cause
11+
12+
`HudiScanPlanProvider.planScan:180-181` 用 `.map(Schema.Field::name)` 取 JNI reader 列名列表(**原始大小写**),经 `HudiScanRange` → `THudiFileDesc.column_names` 传给 BE。BE `HadoopHudiJniScanner.initRequiredColumnsAndTypes` 用**原始大小写** key 建 `hudiColNameToType`,再对每个 **lowercase** 的 `requiredField` 做精确 `containsKey`——`Id/Name/Addr` 表下 lowercase `id` 不在 `{Id,Name,Addr}` → `throw IllegalArgumentException`。
13+
14+
对比:同类的两条列名路径**已** lowercase——Doris 列 schema(`HudiConnectorMetadata.avroSchemaToColumns:905` `toLowerCase(ROOT)`)和 native `history_schema_info` 字典(`HudiSchemaUtils.buildField:137`)。唯 JNI 列名列表漏改。legacy `HudiScanNode:223` 发的是 lowercase(`map(Column::getName)`,Column 名已在 `HMSExternalTable:749` lowercase)。故这是**回归**。
15+
16+
## Design
17+
18+
`planScan` 的 JNI 列名 `.map(Schema.Field::name)` 改为 `.map(f -> f.name().toLowerCase(Locale.ROOT))`,与 `avroSchemaToColumns:905` / `HudiSchemaUtils:137` 一致。列**类型**顺序不变(仍按 `jniSchema.getFields()` 顺序),名↔类型位置对应不变;Hive ObjectInspector 大小写不敏感,文件读仍解析。
19+
20+
为可离线单测(`planScan` 需 live metaClient,无法离线跑),把该 inline transform 抽成包私有静态 helper `jniColumnNames(Schema)`,最小 seam(仿 `parsePartitionValues`/`chooseJniSchema` 已有范式)。
21+
22+
## Implementation Plan
23+
24+
`HudiScanPlanProvider.java`:
25+
1. 新增 `import java.util.Locale;`(List 之后、Map 之前,checkstyle 顺序)。
26+
2. 新增包私有静态 helper:
27+
```java
28+
static List<String> jniColumnNames(Schema jniSchema) {
29+
return jniSchema.getFields().stream()
30+
.map(f -> f.name().toLowerCase(Locale.ROOT))
31+
.collect(Collectors.toList());
32+
}
33+
```
34+
3. `planScan:180-181` 的 `columnNames = jniSchema.getFields().stream().map(Schema.Field::name)...` 改为 `columnNames = jniColumnNames(jniSchema);`(`columnTypes` 那段不动)。
35+
36+
## Risk Analysis
37+
38+
- 仅改列名大小写、不改顺序/类型 → 名↔类型对应不变;Hive OI 大小写不敏感,文件读不受影响。
39+
- 混大小写但**纯 COW/全小写**表不受此路径影响(`avroSchemaToColumns` 早已 lowercase Doris 列;仅 JNI column_names 这一路曾漏)。
40+
- 无 fe-core 改动、connector-agnostic 铁律无关。
41+
42+
## Test Plan
43+
44+
### Unit Tests
45+
`HudiSchemaParityTest`(复用其 `Id/Name/Addr` 混大小写 `SCHEMA_JSON` fixture)加一条:
46+
```java
47+
Assertions.assertEquals(
48+
Arrays.asList("id","name","price","event_date","created_at","tags","props","addr"),
49+
HudiScanPlanProvider.jniColumnNames(schema()));
50+
```
51+
RED(改前):`jniColumnNames` 不存在 / 若直接断言旧 inline 会得 `Id/Name/...` → 失败。GREEN:lowercase 列表。
52+
53+
### E2E Tests
54+
MOR-带-log / `force_jni` + 混大小写列的读回归 = **live-gated**(需真 hudi 集群),显式登记 gated,不静默略过(Rule 12)。
55+
56+
## 守门结果(DONE,commit `03f4c12dffa`)
57+
58+
`mvn -o -pl :fe-connector-hudi -am test -Dtest=HudiSchemaParityTest` → **BUILD SUCCESS**;`HudiSchemaParityTest` 5 run / 0 fail / 0 err / 0 skip(新 `jniColumnNamesAreLowerCased` + 4 既有);`You have 0 Checkstyle violations`(全模块)。测试可 RED:fixture 混大小写 `Id/Name/Addr` vs 期望 lowercase,去掉 `.toLowerCase(Locale.ROOT)` 即变红。MOR/JNI 混大小写读端到端 = live-gated(真 hudi 集群)。

0 commit comments

Comments
 (0)