把 Qwen3.8-27B 塞進 16 GB 的 RTX 5070 Ti 之後:第 1 輪實測與量測時踩到的坑
feveromo 的 recipe 讓 27B 模型塞得進 16 GB 顯示卡。我照預先註冊的協定量了第 1 輪:HumanEval+ 92.1 %、寫程式 155 tok/s,也踩到 WSL2 靜默溢出、思考過長和 temperature 0 不可重現。第一個對手那輪作廢,所以這一輪沒有比較。
家裡那張 RTX 5070 Ti 平常跑本機模型服務,16 GB 顯示記憶體。九月底社群出現 feveromo 的 recipe:IQ3_S 量化加上 MTP 推測解碼,把 Qwen3.8-27B 塞進 16 GB。作者自己量的數據是,同樣的權重、實際的 agent session,decode 比原版 llama.cpp 快 1.9 倍,agent session 的 decode 是 147.2 tok/s(C01)。這是作者在裸機 Linux 上量的,我沒有重測。
速度的問題作者已經回答了。我想知道的是另一件事:只有這一張卡的話,從寫程式、跑 agent、讀中文長文件到日常回應的延遲來看,它是不是我該放在這張卡上的模型?還有,要在一台桌機 GPU 上老實地量出答案,得下哪些功夫?
這篇是第 1 輪的紀錄。先講結論:這次的受測模型是 Huihui-Qwen3.8-27B-abliterated 的 IQ3_S 量化版(下面簡稱 Qwen3.8,不是官方原版權重),它有一份完整、有效的測試結果;第一個對手那一輪因為顯示記憶體溢出作廢了,所以第 1 輪沒有任何模型之間的比較,比較留到下一輪。
第 1 輪重點影片。用 TypeScript 加 three.js 逐格渲染,配樂也是程式合成的原創曲;畫面上每個數字都標了證據編號。
第一個坑:載得進去,不代表跑得動
recipe 作者在裸機 Linux 上跑到 128K context,峰值 14,530 MiB(C01,作者數據)。我的機器是 Windows 11 加 WSL2,桌面也共用這張卡,所以我照著目標開到 131,072。
模型載得起來,沒有任何錯誤訊息。送一個測試請求,decode 只有 5.9 tok/s。
問題出在 WSL2 的顯示驅動。放不下的部分會被悄悄移到系統記憶體,程式照跑、不會報錯,只是慢到不能用。我能看到的唯一線索是 WSL VM 的共享記憶體計數器,所以下面「溢出到系統記憶體」這個判斷,是從這個計數器推論的,沒有直接觀察到。
我往下掃了幾個 context 大小(E23,B 級,初步掃描):
| context | 共享記憶體 | decode |
|---|---|---|
| 131,072 | — | 5.9 tok/s(單一測試請求) |
| 122,880 | 485 MiB | 6.2–7.7 tok/s |
| 98,304 | 421 MiB | 41–74 tok/s |
| 65,536 | 169 MiB | 86–92 tok/s |
98,304 那一格最容易騙到人:速度落在 41–74 tok/s,看起來還能用,共享記憶體卻已經到 421 MiB。最後我選 64K。
同一件事在設定搜尋階段也看得到。社群常用的 Unsloth UD-Q3_K_XL(13.15 GB)在這台機器上只放得下 32K,64K 和 48K 會溢出 452–484 MiB;recipe 用的 IQ3_S 檔(12.12 GB)放得下 64K(E20,A 級)。不過兩套設定的差別不只檔案大小,品質也還沒量,這裡只說明放不放得下。
這個坑後來直接寫進了協定:每次測試都要記錄載入後的共享記憶體,超過 300 MiB 的那一輪作廢,改用較小的 context 重跑。
第二個坑:想太多
Qwen3.8 官方預設的思考強度是 xhigh。早期內部測試裡,我就看過推理模型為了一題簡單的造句想很久,把 token 預算吃光、最後輸出空白。
所以在寫協定之前,我先在 20 題手寫的中文推理題上掃了一輪思考強度(E24,B 級)。每個設定只跑一次,token 預算放寬到 4 倍:
- 官方預設
xhigh:30/40,用了 25,688 個 token medium加一行「想短一點」的指示:35/40,只用 9,878 個 token,是前者的 38 %- 關掉思考:16/40
xhigh 有幾題直接撞到 token 上限。同一個 medium 設定在第 1 輪正式測試裡拿到 33/40、用 11,886 個 token(E02,A 級),和掃描時的 35/40 有落差;重跑本來就會有差異,原因和推測解碼有關,後面會講。所以這組數字能說明 token 成本差很多,但不能拿來排設定的品質高低。
這個設定後來成了我正式服務的預設,也因此帶進了測試,等於在推理題上對 Qwen3.8 有利。協定裡把這點列成已知偏差。
怎麼量才算誠實
踩完這兩個坑,我才開公開 repo,先寫 PROTOCOL.md,再跑任何比較。要比什麼、每個模型的設定怎麼挑、什麼條件下可以說某個模型「最好」,都在跑之前寫死。之後的每一次變更都記在 changelog 裡,附上理由。
幾個重點:
每個模型用自己的設定。 sampler 和推理模式照各自的 model card;context 從 64K 開始往下找,取第一個能載入、共享記憶體溢出不超過 300 MiB、能正常回一輪對話的設定,跑測試套件之前寫進 frozen.json 凍結。推測解碼也照各模型自己公開的用法。
評分器先驗證再用。 HumanEval+ 的檢查器要能讓 164 題的標準解全部通過(E32)。程式碼審查裡埋的 bug,6 個 Python/SQL 的實際跑過都能重現,另外 4 個 JS/Go/C 的沒有執行(E33)。dashboard 評分器讓參考解拿 20/20,故意弄壞 6 處的副本拿 13/20,6 個缺陷全抓到(E31,B 級)。
每個數字都有編號。 repo 裡的 EVIDENCE-INDEX.md 列出所有能對外引用的數字,每個都有等級:A 是照協定量的;B 是在這台機器上量的,但在協定之外或來自作廢的那一輪,只能當參考;C 是別人發表的。這篇文章裡的數字全部出自那張表。
作廢的那一輪
第一個對手是 Ornith-1.5-35B-A3B,一個 MoE 模型。它通過了設定檢查,載入時共享記憶體 294 MiB,在 300 MiB 的上限之內。
跑到一半,共享記憶體爬到 359 MiB,超過上限。decode 速度大部分時間在 99 tok/s 左右,但有兩段時間掉到 27 tok/s 左右(E21,B 級)。慢的那兩段對得上溢出,對不上工作量:同樣大小的請求在中間的時段都跑在 99 tok/s 上下。延遲測試剛好整段落在慢的時段裡。
照協定,這一輪無效。我停掉它,輸出全部留在 repo 的 invalid-spill-1/ 裡,附上一份 INVALID.md 說明原因。那一輪有些只看對錯、不看速度的結果其實還能讀,但我沒有拿來和 Qwen3.8 比較:一輪已經判定無效的測試,挑裡面看起來還能用的部分出來比,等於讓協定只在對自己方便的時候算數。
這件事也暴露了 harness 的一個漏洞。原本只在測試開始和結束時量溢出,載入時通過不代表整輪都沒事。現在 harness 改成每分鐘取樣一次。
所以第 1 輪只剩 Qwen3.8 自己的結果。
第 1 輪量到了什麼
這裡的 Qwen3.8 指的是 Huihui-Qwen3.8-27B-abliterated 的 GSQ-RCO IQ3_S 量化版,加上 recipe v3 的 MTP 建置,64K context,跑在 WSL2 下的 RTX 5070 Ti。
| 項目 | 結果 | 證據 |
|---|---|---|
| HumanEval+ pass@1 | 151/164 = 92.1 %(95 % CI 86.9–95.3 %) | E01 · A |
| 中文推理 20 題,1 次 | 33/40,11,886 tokens | E02 · A |
| 程式碼審查,10 個 bug | 10/10,行號和原因都對 | E03 · A |
| 工具呼叫,12 個 episode | 12/12,0 次格式錯誤,0 次伺服器錯誤 | E04 · A |
| 中文長文,4 個事實 | 16K、32K、60K 都是 4/4 | E05 · A |
| 60K tokens 的 prompt | prefill 1,689 tok/s,39.4 s 出第一個 token | E06 · A |
| 日常中文提示 10 則 | 第一個回答 token p50 1.45 s / p90 2.46 s;完整回答 p50 4.86 s / p90 8.11 s | E07 · A |
| decode:程式碼 vs 中文 | 中位數 155 tok/s vs 74–81 tok/s | E09 · A,相關性 |
| Pi agent 做 dashboard | 320 s,28 回合,0 次工具錯誤,20/20 | E30、E31 · B,單次 |
| recipe 作者數據 | 比原版 llama.cpp 快 1.9×;147.2 tok/s | C01 · C,非本研究量測 |
A 是照預先註冊的協定量的;B 是在這台機器上量的,但在協定之外或來自作廢的那一輪,只當參考;C 是 recipe 作者在裸機 Linux 上量的,我沒有重測。E09 是同一輪測試內的相關性,不是對照實驗。
HumanEval+ 是 164 題全跑,程式碼實際在子行程裡執行。程式碼審查的 10 段程式各埋一個 bug,它全部找到,指出的行號和原因也都對。12 個工具呼叫的 episode 全部完成,沒有一次格式錯誤。長文件測試是在 16K、32K、60K tokens 的繁體中文維基百科文字裡,於不同深度埋 4 個事實,三種長度都 4/4 找回;60K 那份從送出到第一個 token 是 39.4 秒。
日常的中文問題,p50 在 1.45 秒內就開始回答,完整回答 p50 是 4.86 秒。家用卡跑 27B,有這種反應速度,日常用已經夠了。
Pi agent:從空資料夾做出一個 dashboard
數字之外,我也想看它在實際工作流程裡的樣子。我用本機模型驅動 Pi coding agent,從空資料夾開始做一個 dashboard,把這次研究的結果畫出來。
圖 1.RTX 5070 Ti 上的 Qwen3.8-27B 驅動 Pi coding agent。這段終端錄影是同一個任務另外跑的一次,不是下面計分的那一次。
計分的那一次花了 320 秒,28 個回合,27 次工具呼叫,0 次工具錯誤,輸出 25,678 個 token(E30,B 級)。完成之後用瀏覽器跑隱藏的檢查,20/20 全過。
圖 2.本機模型做出來的 dashboard(桌面版、淺色模式)。
這個結果有三件事要一起看。第一,只跑了一次。第二,評分器在 Pi 跑完之後又收緊了兩次,從 18/18 到 19/19 再到 20/20,每次都只是讓檢查更嚴,沒有放寬;這段歷程公開在 repo 裡。第三,TASK.md 有把所有 selector 都告訴模型,藏起來的只有評分器的程式碼。評分器本身用參考解和故意弄壞的版本驗證過(E31),但參考解和評分器是同一邊寫的,數值很接近時的判斷也還有已知的盲點。
寫程式比寫中文快一倍
這是這一輪最意外的發現。同一個模型,寫程式的 decode 速度大約是寫中文的兩倍(E09,A 級):
- HumanEval+ 的程式碼:草稿接受率中位數 0.74,decode 中位數 155 tok/s(p10 134、p90 177)
- 中文解說和摘要:接受率 0.28–0.41,decode 74–81 tok/s
- 用中文問的簡短程式問題:接受率 0.39–0.53,decode 90–106 tok/s
MTP 推測解碼先讓模型猜接下來的幾個 token,再一次驗證;猜中的越多,一次走得越遠。速度幾乎是跟著接受率走的。recipe 附的草稿詞表是依英文文字和程式碼的頻率排序的,中文 token 本來就比較難猜中。
要說清楚的是,這是同一輪測試內觀察到的相關性,我沒有換一份中文詞表做對照實驗。但對中文使用者來說,這是看 recipe 的速度數字時該知道的事:拿它寫中文,速度大概只有寫程式時的一半。我也打算把這件事回饋給 recipe 作者。
我自己寫錯的一件事
事實核對的時候,我發現我先前在 repo 裡寫錯了一個因果。
推理題掃描時就注意到,temperature 0 的同一個請求重跑,結果不一樣。我原本寫的是:這是 MTP 推測解碼造成的。聽起來合理,但我沒有做過對照。
後來做了(E25,B 級)。同一題推理題,一模一樣的請求,temperature 0、固定 seed、關掉 prompt cache,每種條件對剛啟動的伺服器送 5 次:
- recipe 預設的 adaptive 草稿長度:5 次的輸出長度落在 885–1,219 tokens,長度不固定,答案都是 5
- 草稿長度固定為 5:5 次都是 3,080 tokens,答案都是 7
所以至少在這一題,固定草稿長度時,每次的輸出長度和答案都一樣;會變的是 adaptive 控制器:它依線上估計的接受率和驗證成本,每一輪決定要猜幾個 token,驗證的批次寬度跟著變,浮點運算的路徑也就跟著變。推測解碼在精確算術下不會改變結果;但不同驗證寬度的浮點誤差,在這題已經大到讓 greedy 解碼走出不同的答案。
還有一個意外:一台已經跑了好幾個小時的正式伺服器,同樣是 adaptive 模式,給出的結果和固定長度 5 一樣:同樣 3,080 tokens,答案同樣是 7。我推論它的控制器已經收斂到固定寬度,但我沒有記錄控制器實際選的寬度,這一點是推論。
這個實驗只用了一個 prompt,每種條件 5 次,所以是 B 級。README 和證據索引都已經公開更正,索引最上面留了一行更正紀錄。這也改變了協定:單題的差異不拿來解讀,只看有重複測試的整體分數;量 adaptive 推測解碼的伺服器時,要記錄伺服器是不是剛啟動。
已知限制
- 只有一台機器。 Windows 11 加 WSL2,桌面共用這張卡,絕對速度和 context 上限都比裸機 Linux 低。recipe 作者在裸機 Linux 上跑到 128K(C01,未重測),我只能到 64K。
- 第 1 輪有時間限制。 推理題和程式碼審查各只跑一次,協定原本規定的重複次數還沒做到;agent 和延遲測試的題數也比協定少。HumanEval+ 用正式服務的 sampler,每題只取樣一次,不是 greedy。
- 推理題對 Qwen3.8 有利。 它的思考設定是在協定定案前、用同一組推理題調出來的;這些題目也是我在這台機器上測之前的模型時寫的。推理題裡有題目標記為待人工複查,33/40 是以未複查的狀態計分。
- HumanEval+ 可能在訓練資料裡。 這會影響所有候選模型,不只 Qwen3.8。
- Qwen3.8 的溢出只在測試前後各量一次。 開始和結束都是 168 MiB,在 300 MiB 的上限之內(E08),但每分鐘取樣的監測是這一輪之後才加上的。
- B 級的數字都是單次或參考性質。 思考強度掃描、context 掃描、可重現性實驗和 Pi agent 都在此列,不拿來排名。
- 中文輸出偶爾會變成簡體。 延遲測試的回答裡出現過簡體中文。
下一輪
下一批設定已經凍結、在排隊:官方未經 abliterate 的權重(用來看 abliteration 本身的影響)、Unsloth 的量化版(跑官方預設的 xhigh,看沒調過思考設定時的表現)、Muse-Glimmer-30B,以及 Ornith-1.5-9B。Ornith-35B 會用協定裡它的下一個預先註冊的設定重跑。Gemma-4-26B-A4B 和 gpt-oss-20b 這次沒有測,公開的數據整理在 repo 的候選模型調查裡。
模型之間的比較從下一輪開始。協定裡寫好了怎麼判定:一個模型要在每個測試項目上都沒有被其他模型明顯勝過、延遲也夠接近最快的那個,才算整體最好;不然就只按用途分別給答案。這個規則是跑之前定的,結果不論怎麼走都照實寫。
Repo 與引用
協定、原始輸出、設定檔、評分器、作廢的那一輪,以及影片的原始碼都在:
程式碼用 Apache-2.0,文字、結果和手寫資料用 CC BY 4.0。repo 根目錄有 CITATION.cff,GitHub 頁面右側的「Cite this repository」可以直接匯出 APA 或 BibTeX:
@misc{yu2026qwen38eval,
author = {Yu, Oliver},
title = {Qwen3.8-27B on RTX 5070 Ti — does the fastest recipe also win on quality?},
year = {2026},
url = {https://github.com/tc3oliver/qwen3.8-27b-5070ti-eval}
}
引用裡面的數字時,請連同證據編號和等級一起附上。
建置方式、CUDA patch、啟動參數和草稿詞表都來自 feveromo/recipes-qwen3.8-27b-5070ti,repo 裡沒有重新散布。

