|
50 | 50 | |----|------|------|------|-----------|--------------|---------| |
51 | 51 | | **H-1** | ☑ DONE | REST vended-credentials 写入失效(私有桶写 403) | 写入/凭证 | `IcebergWritePlanProvider.java:560-568`,消费 `:348/:406/:464` | `IcebergTableSink.java`(VendedCredentialsFactory) | `designs/P6.6-FIX-B1-H1-write-creds-keyform-vended-design.md`(与 B-1 合并,commit `203cda3e31a`) | |
52 | 52 | | **H-2** | ☑ DONE | REST 3 级 namespace(external_catalog.name)scan/write/procedure 静默丢 | Catalog/读 | `IcebergConnector.java`(三 provider getter + 新 `newCatalogBackedOps()`);`IcebergCatalogOps.java:207-209,713-721` | `IcebergMetadataOps.java:113-116,1183-1195` | `designs/P6.6-FIX-H2-rest-3level-namespace-providers-design.md`(commit `b0c34ec8fe7`) | |
53 | | -| **H-3** | ☐ TODO | Kerberized HDFS hadoop catalog 丢 Kerberos 执行上下文 | Catalog | `IcebergFileSystemMetaStoreProperties.java:52-69`(未覆写 initExecutionAuthenticator) | paimon `Paimon{FileSystem,Jdbc}MetaStoreProperties`(已覆写) | _待建_ | |
| 53 | +| **H-3** | ☑ DONE | Kerberized HDFS hadoop catalog 丢 Kerberos 执行上下文 | Catalog | `IcebergFileSystemMetaStoreProperties.java`(覆写 initExecutionAuthenticator→既有 buildExecutionAuthenticator) | paimon `Paimon{FileSystem,Jdbc}MetaStoreProperties`(已覆写) | `designs/P6.6-FIX-H3-filesystem-kerberos-authenticator-design.md`(commit `7850c6ad03f`) | |
54 | 54 | | **H-4** | ☐ TODO | fetchRowCount 恒 -1(不实现 getTableStatistics)→ CBO 退化 | 统计/优化器 | `IcebergConnectorMetadata.java:89`(无覆写→`ConnectorStatisticsOps.java:30` 默认 empty),消费 `PluginDrivenExternalTable.java:661-678` | `iceberg/IcebergExternalTable.java:139-143`(getIcebergRowCount) | _待建_ | |
55 | 55 | | **H-5+H-6** | ☑ DONE | REFRESH CATALOG + 快照存储过程不清连接器自有缓存(读旧快照≤24h / leader-follower 分裂 + REMOTE 名误用) | 缓存×过程 | `ExternalMetaCacheRouteResolver.java:63,77`;`ExternalCatalog.java:650-656`(onRefreshCache);`IcebergProcedureOps.java:164`;`ExternalMetaCacheInvalidator.java:42-57` | `ExternalMetaCacheRouteResolver.java:63-66`(→ENGINE_ICEBERG);`IcebergExternalMetaCache.java:156`;`ExternalMetaCacheMgr.invalidateTableCache`(LOCAL 名) | `designs/P6.6-FIX-H5-H6-cache-reachability-design.md`(commit `d6758ff71f5`):H-5=PluginDrivenExternalCatalog.onRefreshCache 覆写调 connector.invalidateAll()(通用 SPI;扩 IcebergConnector.invalidateAll 清 manifest+IcebergManifestCache.invalidateAll);H-6=**引擎统一接管**(ConnectorExecuteAction 过程成功后调 refreshTableInternal〔两层+两名〕,删 IcebergProcedureOps REMOTE-名旧通知+其单测重定义)。fe-core21/iceberg811 绿/checkstyle0/**mutation 8-8 KILLED**/clean-room SAFE(生产代码确认正确,唯一 must-fix=测试覆盖缺口已补);e2e flip-gated 未跑 | |
56 | 56 | | **H-7** | ☐ TODO | `FOR VERSION AS OF '<branch>'` 破坏(非数字仅按 tag 解析) | TimeTravel | `PluginDrivenMvccExternalTable.java:305-308`;`IcebergConnectorMetadata.java:1284-1285,1301-1305` | `IcebergUtils.java:1296-1318`(refs().containsKey, branch∪tag) | _待建_ | |
|
60 | 60 |
|
61 | 61 | ### 关键详情 |
62 | 62 | - **H-2** ☑ DONE `b0c34ec8fe7`:`getMetadata()` 用 5-arg ctor 串 `external_catalog.name`,但 scan/write/procedure 用 1-arg → `toNamespace` 漏 external-catalog 级(三 provider 解析表全部且仅经 `catalogOps.loadTable`→`toNamespace`,`toNamespace` 只读 externalCatalogName)。**修**=抽私有 `newCatalogBackedOps()` 集中计算四门控值并返 5-arg ops,四处(getMetadata + 三 provider getter)共用(复刻 master 单 ops);listing-only 三标志在 loadTable 路径 inert,仅平价线程;getMetadata ops 字节不变;修正三处过时注释。815 全绿/checkstyle0/mutation 3-3 KILLED+1 反向守护/clean-room 5 探针全 REFUTED。验收 e2e(3 级 REST SELECT/INSERT/EXECUTE)=flip-gated 未跑。 |
63 | | -- **H-3**:legacy `initCatalog` 翻闸后死码,认证须经 `initExecutionAuthenticator` 接入;iceberg 各 flavor 均未覆写 → 基类 no-op 认证器无 UGI `doAs`。HMS 不受影响(在 `initNormalizeAndCheckProps` 接入)。**修**=各 `Iceberg*MetaStoreProperties` 覆写 `initExecutionAuthenticator` 镜像 paimon。 |
| 63 | +- **H-3** ☑ DONE `7850c6ad03f`:legacy `initCatalog` 翻闸后死码,认证须经 `initExecutionAuthenticator` 接入(`PluginDrivenExternalCatalog.initPreExecutionAuthenticator:153-154,174` 调它并注入连接器 context)。**⚠️RECONCILE(Rule 7):review「各 flavor 均未覆写」收窄=仅 filesystem 是真翻闸回归**——jdbc:master `IcebergJdbcMetaStoreProperties` 根本无 ExecutionAuthenticator/Kerberos 逻辑→非翻闸回归(pre-existing,与 paimon jdbc 不同),出 H-3 范围;hms 在 `initNormalizeAndCheckProps` 接入(live)→ 不受影响;glue/dlf/s3tables/rest 云无 HDFS UGI。**修**=`IcebergFileSystemMetaStoreProperties` 覆写 `initExecutionAuthenticator` 委派既有 `buildExecutionAuthenticator`(Kerberos-only 守护保留=legacy parity,非 Kerberos 留基类 no-op)。无字段遮蔽 bug(`@Getter executionAuthenticator` 覆写基类 NOOP_AUTH getter,已核)。4 测绿/checkstyle0/mutation 2-2 KILLED(neuter override+drop isKerberos 守护)。验收 e2e(Kerberized HDFS hadoop SELECT/INSERT)=flip-gated 未跑。 |
64 | 64 | - **H-4**:snapshot-summary 行数逻辑在 `IcebergScanPlanProvider.getCountFromSnapshot`(COUNT(*) 下推用)但未走表级统计。rowCount=-1 → StatsCalculator 基数塌 1 + `disableJoinReorderIfStatsInvalid` 失整链 CBO + SHOW TABLE STATUS=-1。**修**=覆写 `getTableStatistics` 从 currentSnapshot summary 算行数(镜像 `PaimonConnectorMetadata.getTableStatistics`)。⚠️验证者将 reviewer blocker 降 high(结果正确、analyze 后部分恢复)。 |
65 | 65 | - **H-5+H-6(同根,合并修)✅ DONE `d6758ff71f5`**:翻闸后 iceberg catalog=`PluginDrivenExternalCatalog`,route resolver 落 ENGINE_DEFAULT(只 schema 缓存),连接器自有 `IcebergLatestSnapshotCache`(TTL 24h)/`IcebergManifestCache` 仅 `connector.invalidateAll()` 清,而 REFRESH CATALOG / 快照过程从不调它;H-6 叠加 invalidateTable 传 **REMOTE** 名(缓存键按 LOCAL 匹配,name-mapped 目录失效成 no-op)。 |
66 | 66 | - **实证纠正 review/HANDOFF 设想**:① REFRESH CATALOG 走 `onRefreshCache`(不经 `resetToUninitialized`,**不重建连接器**——侦察中一 agent 误判,控制流证伪);② 「让 IcebergProcedureOps 传 LOCAL 名」不可行——连接器 `fromRemote*` 是恒等默认(名字映射真相在引擎侧 `ExternalTable` 的 NameMapping 上),连接器无法自行做正确的 LOCAL 失效;③ `IcebergManifestCache` 注释自称「只在 REFRESH CATALOG 重建时清」**是错的**(REFRESH CATALOG 不重建);④ `context.getMetaInvalidator().invalidateTable` 的**唯一生产调用方**就是 `IcebergProcedureOps:164`。 |
@@ -135,7 +135,7 @@ scan field-id 投影正确 / schema 演进 editlog+缓存簿记忠实 / GSON 兼 |
135 | 135 | 1. ~~**B-1 + H-1**(合并,写凭证 key-form + vended,一处改)→ 解锁云上写。~~ ✅ **DONE**(commit `203cda3e31a`,776 tests 绿 / mutation 3-3 KILLED / clean-room SAFE_TO_COMMIT;e2e flip-gated 未跑)。 |
136 | 136 | 2. **B-2 + H-11 + M-10**(合并,listPartitions + RANGE 语义 + RECONCILE)→ 解锁 MTMV。 |
137 | 137 | 3. ~~**H-5 + H-6**(合并,连接器缓存可达 + LOCAL 名)→ 修缓存一致性。~~ ✅ **DONE**(commit `d6758ff71f5`;引擎统一接管:REFRESH CATALOG→connector.invalidateAll(),过程→refreshTableInternal;mutation 8-8 KILLED / clean-room SAFE;e2e flip-gated 未跑)。 |
138 | | -4. **H-2** ✅ DONE(`b0c34ec8fe7`,REST 3 级 namespace 接通 scan/write/procedure)→ **H-3 / H-4 / H-7 / H-8 / H-9 / H-10**(各自独立,可并行认领)⏭ 下一。 |
| 138 | +4. **H-2** ✅(`b0c34ec8fe7`)→ **H-3** ✅(`7850c6ad03f`,filesystem Kerberos 认证器)→ **H-4 / H-7 / H-8 / H-9 / H-10**(各自独立,可并行认领)⏭ 下一。 |
139 | 139 | 5. ENG-1(能力孪生审计,宜早做——可能挖出 H-10 同类新洞)。 |
140 | 140 | 6. P2(M-*)→ P3(L-BATCH-A 优先)→ ENG-2 设计债。 |
141 | 141 | 7. **ENG-3 flip-gated e2e 全跑 → 用户二签 → 翻闸最后原子提交。** |
0 commit comments