eval: requirement-coverage(計画-実装乖離)でローカルモデルを判別する — realbug の次軸(aidd-governance 由来)(ai-cluster 連携) #325

Activity

1. terisuke

   added a commit that references this issue on Sep 3, 2026

   fix(guardrails): cor-local を他 provider と同じ表記に揃え、chunkTimeout と guardr…

   ...

   fc08acc
2. cloudia-Cor commented on Sep 3, 2026

   

   cloudia-Cor

   on Sep 3, 2026

   CollaboratorAuthor

   More actions

   ai-cluster 側で opencode 実運用経路(guardrails wrapper・opencode run --format json)から cor-local 3 モデル(qwen3.8-27b / glm53-flash / deepseek-v4-flash-0731)を agentic なバグ修正タスクで受入実測した(ai-cluster #238 連携)。

   • ctx 65536 で 3/3 モデルとも rc=0・compaction 0・pytest 4 passed(qwen 223s / glm 236s / deepseek 190s)。ctx 32768 だった run 2 は 3/3 とも 1200s タイムアウト(rc=124)— 根因は auto-compaction の synthetic "Continue if you have next steps..." ループ(packages/opencode/src/session/compaction.ts:540、guardrails AGENTS.md 15.6KB + system prompt が 32768 を圧迫)。
   • opencode 側 PR feat(guardrails): cor-local provider (llama-server router・3 local models・offline opt-in) #326 provider)+ PR https://github.com/Cor-Incorporated/opencode/pull/327(`limit.context` を router の -c と同じ 65536 に修正)で解消済み。
   • 詳細(構成・手順・結果表・根因・訂正表・残課題・生ログパス一覧)は evidence doc: PR pending — https://github.com/Cor-Incorporated/ai-cluster/pull/251(main マージ後は docs/evidence/opencode-local-3model-2026-09-03.md)
   • 「実運用 base_url 配線」チェックボックスの実測はこの受入で完了(router /v1/models を opencode 経由で agentic タスク貫通まで確認済み)。ボックス自体の更新はこのコメントでは行わず、issue 本文の編集可否を含めご判断ください。
3. terisuke commented on Sep 5, 2026

   

   terisuke

   on Sep 5, 2026

   More actions

   ai-cluster #238 の続報です。reqcov v3(opencode 実運用経路での 3 モデル判別ラン)の evidence を確定しました: ai-cluster docs/evidence/reqcov-3model-2026-09-05.md(Cor-Incorporated/ai-cluster#276)。

   opencode arm(agentic・headless run)での functional coverage: GLM-5.3-Flash 0.923、qwen3.8-27b 0.846(参考)、DeepSeek-V4-Flash-0731 0.615。GLM と DeepSeek の差は統計的に有意(Wilson 95% CI 非重複)。

   DeepSeek は reach(45 分以内に許可 src への変更へ到達した割合)が 0.75 で 3 モデル中最低 — ctx 65536 でも 2 case が timeout し未到達。opencode 側の limit.output 16384 は妥当(GLM/qwen は完走)。

   opencode 実運用の既定は cor-local/glm53-flash を推奨。qwen3.8-27b は軽量・高速な代替(S0 spike 実測 28.4 tok/s、agentic 実測とは条件が異なる点に注意)。cor-local 側は #331(COR_LOCAL_BASE_URL / COR_LOCAL_API_KEY の env 化)と ai-cluster#274(router API key + tailnet 公開)で、MacBook からは env 2 つと鍵 1 本で使えます(実機 G2 は人間ゲート)。
4. terisuke commented on Oct 25, 2026

   

   terisuke

   on Oct 25, 2026

   More actions

   Closed by owner decision (Terada Kousuke, 2026-10-25), posted verbatim:

   古い issue 13 件（gov #172/#166/#148/#147/#145、ccs anomalyco#390/#279/#270、opencode #340/#339/#325/#294/#1）は「運用で見る」として閉じてください。理由をコメントに残してください。

   Context: the AIDD H17 work moved to an operate-and-observe phase on 2026-10-24 (H17 control 216a955e accepted in aidd-governance#216, the report contract shipped to every entry in claude-code-skills#441, the design rule for shell state guards recorded as ADR-012). This issue was not on the H17 path, had no activity since its last update, and will be watched through real use (the guard ledger and the weekly tally in the operations guide) instead of as an open item. Reopen if real operation shows the problem.
5. terisuke

   closed this as not plannedon Oct 25, 2026