Thoughts on AI, technology, and building products.
2026 年 2 月 z-lab 出咗 DFlash（block diffusion drafter）6× lossless speculative decoding；4 月 Liran Ringel 同 Yaniv Romano 出咗 DDTree，在 DFlash 上面加咗 tree-structured verify，全面 60/60 setting 都提升；Luce-Org 跨咗 GGUF + ggml + 3 個 custom CUDA kernel，俾一部 24 GB RTX 3090 跑 Qwen3.5-27B 跑到 207 tok/s peak、3.43× 加速。今次拆解三個層次：paper 原理、tree verification math、同 consumer GPU 部署實戰。
Andrej Karpathy 喺 2026 年 4 月放咗一份 GitHub Gist 講 LLM Wiki：用一個 raw/、wiki/、
MemPalace 喺 2026 年 4 月被 Milla Jovovich 同 Ben Sigman 開源，14 日內爆 47k GitHub stars。佢將古希臘嘅 method of loci（記憶宮殿）搬入 LLM agent 嘅長期記憶系統，配 ChromaDB + SQLite + 29 個 MCP tools，喺 LongMemEval 攞到 96.6% R@5（hybrid mode 100%），全部 zero API cost、純本地運行。今篇深入拆 Wings/Rooms/Closets/Drawers 嘅 4-layer 架構、AAAK compression、PALACE_PROTOCOL prompt 設計、Knowledge Graph，再客觀分析點解 raw mode 跑得仲快過 palace structure，同其他 memory 系統（Mem0、Zep、Supermemory）點比。
並行運算入面，空間並行係常識，但時間呢條軸點 parallelize？Parareal algorithm（Lions, Maday, Turinici 2001）用一個 cheap 嘅 coarse solver G + 一個 expensive 嘅 fine solver F，配合 predictor-corrector iteration，將 sequential time integration 變成 parallel-in-time。深入拆解 coarse / fine solver 嘅角色、convergence、speedup bound，再睇 PPINN（Karniadakis 2020）、Neural-Parareal（ITER 2024）、RandNet-Parareal（NeurIPS 2024）等用 neural network 取代 G 嘅最新發展。
DeepSeek 喺 2026 年 4 月 24 日 release 咗 V4 系列（V4-Pro 1.6T / 49B active；V4-Flash 284B / 13B active），全部支援 1M token context。深入拆解 5 個核心架構創新：CSA（4× 壓縮 + lightning indexer 揀 top-1024）、HCA（128× 壓縮 + dense attention）、manifold-constrained hyper-connections（mHC，用 Birkhoff Polytope + Sinkhorn-Knopp 取代 residual）、Muon optimizer、FP4 QAT，加埋 agent-side 嘅 interleaved thinking、|DSML| XML tool calls、DSec RL sandbox。
深入解析 2026 年 4 月呢個星期同時登場嘅兩篇 Recurrent-Depth Transformers 論文——Parcae（UCSD + Together AI，用 LTI 系統 + 負對角參數化徹底解決 looped model 訓練崩潰，首個 RDT scaling laws）同 Loop, Think, & Generalize（OSU NLP，首次系統驗證 RDT 做到 implicit 多跳推理同 depth extrapolation）。附八年進化背景、完整 PyTorch 骨架、實作心得。
深入解析 AI 工程由 Prompt Engineering（2022-24）到 Context Engineering（2025）到 Harness Engineering（2026）嘅進化歷程。了解 Karpathy、Tobi Lütke、Anthropic、OpenAI、LangChain 點樣定義呢三個時代，附完整實戰指南同代碼範例。
深入解析 Person ReID 由 CNN 時代到 Transformer 時代嘅三大里程碑：TransReID（首個 pure Transformer ReID）、SOLIDER（語義可控自監督預訓練）、DINOv2（通用視覺基礎模型）。了解 JPM、SIE、語義控制器等核心設計，附完整實作指南。
深入解析 OSNet（Omni-Scale Network），一個專為行人重識別設計嘅輕量 CNN。了解點樣透過 multi-scale streams + unified aggregation gate 學習 omni-scale features，用 2.2M 參數打贏 24M 嘅 ResNet50。
用廣東話拆解 1×1 convolution（pointwise conv）：由 Network in Network 到 ResNet bottleneck，再到 MobileNet depthwise separable，講清楚佢點樣做 channel mixing、降/升維同加速。
深入解析 Google Research 發表嘅 TurboQuant 論文，了解點樣透過 PolarQuant + QJL 兩階段量化，將 LLM KV cache 壓縮到 3-bit 而保持零精度損失，仲有 8x speedup
完整數學推導 Quantum Teleportation（量子隱形傳態）嘅原理，從 Bell State 建立到測量修正，附帶實用 Cheat Sheet 同埋直觀比喻解釋。
深入對比 Redis Pub/Sub、Redis Streams、BullMQ 同 RabbitMQ 四大 Message Queue 方案，解析點解 Redis Pub/Sub 唔適合做 Job Queue，Redis Streams 點樣處理持久化消息流，BullMQ 點樣構建可靠嘅背景任務處理系統，RabbitMQ 幾時先係最佳選擇，附完整實戰代碼同場景推薦
深入探討 LLM pre-training 嘅三大架構：Decoder-Only (GPT)、Encoder-Only (BERT) 同 Encoder-Decoder (T5)，分析佢哋嘅訓練方式、優缺點、實際應用場景，同埋點解 Decoder-Only 成為主流。
深入比較 Telegram 同 WhatsApp 嘅私隱保護機制，了解點解 Telegram 被視為更私隱導向嘅通訊平台，分析加密方式、數據收集、同埋伺服器架構嘅分別。
深入解析 FlashAttention 四代演進：從 FlashAttention 1 嘅 IO-aware tiling，到 FlashAttention 2 嘅並行優化，再到 FlashAttention 3 嘅異步計算同 FP8 支援，最後到 FlashAttention 4 喺 Blackwell B200 突破 1.6 PetaFLOPs，了解點樣將 Transformer Attention 推向極致
深入解析 WanVideo 2.2 點樣透過 Mixture-of-Experts (MoE) 架構，用高噪點同低噪點兩個專家模型接力，喺 ComfyUI 生成電影級 AI 影片
深入淺出講解 Linux Screen command，包括基本用法、實戰場景、Screen vs tmux 對比，以及生產環境最佳實踐
深入探討 Glyph 同 Vist 兩篇突破性論文，了解點樣透過將文字 render 成圖像再用 vision encoder 壓縮，實現 slow-fast 混合架構處理超長語境
深入探討 AI 訓練工作站嘅硬件配置，包括 NVIDIA RTX 6000 Pro Blackwell、AMD Threadripper、PCIe 5.0、多 GPU 配置，以及雙風扇、渦輪式、被動散熱等冷卻方案嘅技術細節
Discover how DeepSeek OCR achieves state-of-the-art document parsing with only 1120 visual tokens—6x fewer than competitors—through innovative visual causal flow and semantic reordering.
深入探討量子電路嘅基礎概念，包括 Dirac notation（bra-ket）、常見量子閘（Pauli Gates、CNOT、SWAP）、Hadamard Gate 同埋點樣用量子電路構建量子演算法
深入拆解 EXO Labs 最新方案：點樣結合 NVIDIA DGX Spark 嘅強大算力同 Mac Studio 嘅高記憶體頻寬，透過分離 Prefill 同 Decode 階段，實現 4 倍 LLM 推理速度提升。
深入了解 Lexapro (Escitalopram) 嘅作用機制、SSRI 藥理、重性抑鬱症 (MDD) 成因同類型、藥物相互作用、安全用藥指引等全面資訊。
深入探討 Next.js 三種 rendering 策略（SSG、SSR、CSR）對 SEO 嘅影響，解析 force-dynamic 點樣喺 server-side 生成完整 HTML，確保搜尋引擎可以正確 crawl 你嘅內容
深入探討 State Space Models 的原理、架構演變，以及點解佢哋可以挑戰 Transformer 的地位
用廣東話深入拆解 DeepSeek-OCR 2 論文：由 raster-scan 嘅根本問題、DeepEncoder V2 嘅 dual-stream attention、causal flow queries 到 cascade causal reasoning，附具體數字例子、attention mask 推導、同完整 inference code。
深入探討 MIT 最新推出的 Recursive Language Models (RLM) 架構，了解點樣透過遞歸調用解決 context rot 問題，處理 1000 萬+ tokens 嘅超長文檔
全面回顧 Attention 機制從誕生到現在的演化歷程，分析哪些方法仍在使用，哪些已經被淘汰
深入淺出講解 Transformer 架構，包括 Self-Attention 機制、Query/Key/Value 概念、Encoder-Decoder 設計，以及 Multi-Head Attention 嘅運作原理
深入探討 Rotary Position Embeddings (RoPE) 的原理、數學推導及其在 Transformer 模型中的應用
深入探討 Hough Transform 的原理、數學推導及實際應用，包括直線檢測、圓形檢測與 Linear Regression 的比較
量子退火核心原理（如能量地景與量子穿隧效應）、應用領域以及參考來源
深入探討量子計算的原理、應用及其對未來科技發展的影響