加速器很快，結果卻回得很慢
讓 MLX GPU 與 Apple Neural Engine 同時服務請求時，發現了加速器單獨跑的基準測試看不出來的主機端競爭。
量測資料交接 · 定位 GIL 競爭 · 發布自適應 GPU + ANE 服務
- GPU 結果回傳時間（P50），在同步 Core ML 不再佔住 GIL 之後
- 7.67 → 0.14 ms
技術報告 · Oliver Yu
Oliver Yu
AI Systems Engineer · System Architect
企業 AI 平台與 LLM 推論效能。
- 1摘要
- 工作上我做企業 AI 平台：統一的 AI gateway、地端模型服務和 coding agent。另外也量測 AMD、NVIDIA 與 Apple Silicon 上的 LLM 推論，把修正送回上游。
- 3其他成果
- 228.38 → 79.06 sllm-inference-systems · 七輪 session 累積延遲：只用 sparse prefill → 閒置時重建前綴
- 1,474 tok/sdeepseek-v4-flash-mi300x · 32 個 coding sub-agent 同時執行時的總輸出，2× MI300X、TP=2
- 92.1 %qwen3.8-27b-5070ti-eval · HumanEval+ pass@1：164 題通過 151 題（95 % CI 86.9–95.3 %），只用一張 16 GB 的 RTX 5070 Ti第一個對手模型跑到一半 VRAM 溢出，那次結果作廢，所以第 1 輪不做任何比較。
代表研究
開源貢獻
AMD AITER
已合併 MI325X 上 Qwen Flash-Next 的 FP8 fused-MoE 調校設定；8 組實測配置的 kernel 執行時間降低 3.7–13%。
vLLM
提交 QSA Indexer 與 Sparse Attention 的 ROCm 優化，在 MI325X 驗證；Indexer 修改另經 AMD 工程師在 MI355X 獨立測試。
LiteLLM
提交連線逾時與 least-busy 併發路由修正。在雙後端重現測試中，故障切換從 72–137 秒縮短到約 6 秒。
MLX
修正 distributed launcher 遺失 rank 最後輸出的問題：行程結束後把兩條 pipe 都讀完。
oMLX
改善 SpecPrefill 快取重用、prefill 路徑一致性，以及 Responses API 的工具路由。
Apple coremltools
提交在 Core ML 原生推論期間釋放 Python GIL 的修正，讓其他執行緒繼續執行。
代表系統
PiShip
Agent 基礎設施
一套工具鏈，讓公司不必 fork Pi 就能把它做成自家的 coding agent，並補上 OIDC 登入、短效 gateway 憑證、policy 與 sandbox。
工具與實驗
SignalForge
每天早上執行的事件導向情報管線。
Claude Team Kit
一個 Claude Code plugin，限制 Agent Teams 原生 teammate 的數量，並提供唯讀的 Mission Control 面板，顯示 worker、任務相依與用量。
精選技術文章
Apple Silicon · 推論
當主機端競爭掩蓋加速器效能
追查 GPU 與 Neural Engine 併發服務時的 GIL 問題與延遲成本。
LLM 推論 · 狀態
在推論請求之間恢復可重用狀態
不只改善單次請求，也量測快取與狀態重建對後續請求的影響。
vLLM · ROCm · 推論
讓 GPU 少做白工：vLLM QSA Indexer 優化
記錄 MI325X 的 QSA scoring 瓶頸、16×64 tiling，以及小批次 decode 為什麼改回逐列 kernel。附 AMD 工程師在 MI355X 的實測結果。
最新文章