Skip to content

Commit 3c3d040

Browse files
Distinguir el limite de uso y la caida del proveedor como familias propias de fallo de agente (#977)
* mefisto-tooling(#965): implementacion Commit de rescate: el watchdog mato al writer a los 1864s (techo 1800s) tras haber terminado su contrato -- el summary del stage y las 40 suites en verde ya estaban. Se comitea su trabajo intacto para que Stage 2 reciba el diff completo. * mefisto-tooling(#965): revision -- pinear MEFISTO_RUNTIME_LIB_DIR en los tests de adaptador y preservar la fidelidad del fixture de rate limit - .claude/scripts/tests/test-runtime-claude.sh, test-runtime-opencode.sh: exportan MEFISTO_RUNTIME_LIB_DIR=$LIB_DIR. mefisto-runtime.sh respeta un valor ya exportado por el caller y los pipelines internos lo exportan apuntando al checkout donde arrancaron, asi que dentro de un worktree el bloque del runner real traducia con el adaptador del checkout PRINCIPAL: las tres aserciones nuevas de #965 que van via runner (529 -> provider_unavailable, stderr 500 -> provider_unavailable, rate_limit_event -> rate_limit) fallaban aunque el adaptador del worktree fuera correcto. Un gate que juzga codigo que nunca ejecuto es exactamente lo que MEF-ADR-0031 no admite; test-mefisto-run-agent.sh ya controlaba esa variable por el mismo motivo. - fixtures del agotamiento de ventana: se alinea la fecha de la CORRIDA (2026-05-07) con el resetsAt real capturado, en vez de tocar el resetsAt. 1778193600 y el 'resets 6:40pm (America/New_York)' del mensaje sintetico son el par verbatim de anthropics/claude-code#57096; queda documentado en la cabecera del test para que nadie los 'corrija' y vacie de evidencia al fixture. Las cuatro citas del writer se verificaron una por una contra GitHub (claude-agent-sdk-python#599, claude-code#57096, anomalyco/opencode#42029 y #8203): las cuatro existen y dicen lo que el codigo afirma. - changelog.d/965.fixed.md con el fragmento del pin. Refs #965
1 parent 7ff4874 commit 3c3d040

14 files changed

Lines changed: 343 additions & 100 deletions
Lines changed: 5 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,5 @@
1+
{"type":"system","subtype":"init","session_id":"sess-ratelimit","model":"claude-sonnet-5"}
2+
{"type":"assistant","timestamp":"2026-05-07T22:00:00.000Z","message":{"content":[{"type":"text","text":"Trabajando en el issue..."}]}}
3+
{"type":"rate_limit_event","rate_limit_info":{"status":"rejected","resetsAt":1778193600,"rateLimitType":"five_hour","overageStatus":"rejected","overageDisabledReason":"out_of_credits","isUsingOverage":false},"session_id":"sess-ratelimit"}
4+
{"type":"assistant","message":{"model":"<synthetic>","content":[{"type":"text","text":"You're out of extra usage - resets 6:40pm (America/New_York)"}]},"error":"rate_limit","isApiErrorMessage":true,"apiErrorStatus":429}
5+
{"type":"result","is_error":true,"terminal_reason":"api_error","api_error_status":429,"subtype":"success","result":"rate_limit","num_turns":3,"duration_ms":90000}

‎.claude/scripts/tests/test-agent-retry.sh‎

Lines changed: 25 additions & 11 deletions
Original file line numberDiff line numberDiff line change
@@ -23,8 +23,9 @@
2323
# [pre] las funciones nuevas existen en _mefisto-common.sh
2424
# [A] classify_agent_failure: paridad con la clasificacion anterior, ahora
2525
# leyendo el JSONL neutral en vez de grepear un log de texto
26-
# [B] agent_failure_is_retryable: solo API_ERROR_SERVER reintenta (sin
27-
# cambios -- no lee el JSONL neutral)
26+
# [B] agent_failure_is_retryable: solo PROVIDER_UNAVAILABLE reintenta
27+
# (issue #965: reemplaza a la vieja etiqueta API_ERROR_SERVER; RATE_LIMIT,
28+
# la otra etiqueta nueva del issue, queda deliberadamente fuera)
2829
# [C] el bucle de run_agent: reintenta 5xx, respeta el tope, no reintenta
2930
# los demas tipos, y restaura el worktree solo si entraba limpio
3031
#
@@ -77,10 +78,16 @@ done
7778
echo ""
7879
echo "[A] classify_agent_failure conserva las etiquetas, ahora desde el JSONL neutral"
7980

80-
# Fixtures inline conforme a run-events.schema.json (issue #906): un terminal
81-
# run.completed/run.failed con `error{kind, detail}` estructurado.
81+
# Fixtures inline conforme a run-events.schema.json (issue #906, kinds
82+
# "rate_limit"/"provider_unavailable" agregados en el issue #965): un
83+
# terminal run.completed/run.failed con `error{kind, detail}` estructurado.
84+
# Desde #965 el kind YA viene disambiguado del adaptador -- EVENTS_5XX usa
85+
# "provider_unavailable" (no "api_error") porque asi es como runtime-claude.jq
86+
# clasifica hoy un 529 (ver su elif de `api_error_status | test("^5")`).
8287
EVENTS_5XX="$TMP/events-5xx.jsonl"
83-
printf '%s\n' '{"v":1,"type":"run.failed","ts":"2026-08-05T10:00:00Z","status":"failed","runtime":"claude","model":null,"session_id":null,"duration_ms":100,"tokens":{"input":null,"output":null},"cost_usd":null,"turns":null,"denials":null,"ttft_ms":null,"api_duration_ms":null,"error":{"kind":"api_error","detail":"API Error: 529 Overloaded"}}' > "$EVENTS_5XX"
88+
printf '%s\n' '{"v":1,"type":"run.failed","ts":"2026-08-05T10:00:00Z","status":"failed","runtime":"claude","model":null,"session_id":null,"duration_ms":100,"tokens":{"input":null,"output":null},"cost_usd":null,"turns":null,"denials":null,"ttft_ms":null,"api_duration_ms":null,"error":{"kind":"provider_unavailable","detail":"API Error: 529 Overloaded"}}' > "$EVENTS_5XX"
89+
EVENTS_RATE_LIMIT="$TMP/events-rate-limit.jsonl"
90+
printf '%s\n' '{"v":1,"type":"run.failed","ts":"2026-08-05T10:00:00Z","status":"failed","runtime":"claude","model":null,"session_id":null,"duration_ms":100,"tokens":{"input":null,"output":null},"cost_usd":null,"turns":null,"denials":null,"ttft_ms":null,"api_duration_ms":null,"error":{"kind":"rate_limit","detail":"ventana de uso agotada (rateLimitType=five_hour, resetsAt=2026-08-05T15:00:00Z)"},"resets_at":"2026-08-05T15:00:00Z"}' > "$EVENTS_RATE_LIMIT"
8491
EVENTS_4XX="$TMP/events-4xx.jsonl"
8592
printf '%s\n' '{"v":1,"type":"run.failed","ts":"2026-08-05T10:00:00Z","status":"failed","runtime":"claude","model":null,"session_id":null,"duration_ms":100,"tokens":{"input":null,"output":null},"cost_usd":null,"turns":null,"denials":null,"ttft_ms":null,"api_duration_ms":null,"error":{"kind":"api_error","detail":"API Error: 400 Bad Request"}}' > "$EVENTS_4XX"
8693
EVENTS_CUT="$TMP/events-cut.jsonl"
@@ -109,14 +116,16 @@ check_label "A-2: senal con terminal de exito" \
109116
"SIGNAL_POST_SUCCESS (exit 137, 12s)" "false" "137" "12" "$EVENTS_OK"
110117
check_label "A-3: senal sin terminal" \
111118
"SIGNAL_MID_FLIGHT (exit 137, 12s)" "false" "137" "12" "$EVENTS_BAD"
112-
check_label "A-4: 5xx del servidor" \
113-
"API_ERROR_SERVER (exit 1)" "false" "1" "12" "$EVENTS_5XX"
119+
check_label "A-4: 5xx del proveedor (kind provider_unavailable)" \
120+
"PROVIDER_UNAVAILABLE (exit 1)" "false" "1" "12" "$EVENTS_5XX"
114121
check_label "A-5: 4xx del cliente" \
115122
"API_ERROR_CLIENT (exit 1)" "false" "1" "12" "$EVENTS_4XX"
116123
check_label "A-6: corte de stream" \
117124
"STREAM_CUT (exit 1)" "false" "1" "12" "$EVENTS_CUT"
118125
check_label "A-7: sin sintoma reconocible" \
119126
"CLI_ERROR (exit 3)" "false" "3" "12" "$EVENTS_PLAIN"
127+
check_label "A-9: ventana de uso agotada (kind rate_limit, issue #965)" \
128+
"RATE_LIMIT (exit 1)" "false" "1" "12" "$EVENTS_RATE_LIMIT"
120129
# El orden importa: un TIMEOUT del watchdog gana aunque el terminal traiga un 5xx.
121130
check_label "A-8: TIMEOUT precede al 5xx" \
122131
"TIMEOUT (99s, exit 1)" "true" "1" "99" "$EVENTS_5XX"
@@ -126,14 +135,19 @@ check_label "A-8: TIMEOUT precede al 5xx" \
126135
echo ""
127136
echo "[B] agent_failure_is_retryable: solo el 5xx transitorio se reintenta"
128137

129-
if agent_failure_is_retryable "API_ERROR_SERVER (exit 1)"; then
130-
pass "B-1: API_ERROR_SERVER es reintentable"
138+
if agent_failure_is_retryable "PROVIDER_UNAVAILABLE (exit 1)"; then
139+
pass "B-1: PROVIDER_UNAVAILABLE es reintentable"
131140
else
132-
fail "B-1: API_ERROR_SERVER deberia ser reintentable"
141+
fail "B-1: PROVIDER_UNAVAILABLE deberia ser reintentable"
133142
fi
134143

144+
# RATE_LIMIT (issue #965) queda deliberadamente FUERA del reintento con
145+
# backoff corto de este bucle: una ventana de 5h agotada no se arregla en
146+
# segundos, hace falta la politica de espera (hold) que este issue prepara
147+
# pero no implementa (ver notas tecnicas de #965).
135148
for label in "TIMEOUT (1800s, exit 137)" "API_ERROR_CLIENT (exit 1)" \
136149
"STREAM_CUT (exit 1)" "CLI_ERROR (exit 3)" \
150+
"RATE_LIMIT (exit 1)" \
137151
"SIGNAL_MID_FLIGHT (exit 137, 12s)" "SIGNAL_POST_SUCCESS (exit 137, 12s)" ""; do
138152
if agent_failure_is_retryable "$label"; then
139153
fail "B-2: '$label' NO deberia ser reintentable"
@@ -344,7 +358,7 @@ else
344358
fi
345359

346360
# C-7: cada reintento queda registrado en events.log.
347-
if grep -q "REINTENTO writer: API_ERROR_SERVER" "$EVENTS_LOG_ABS"; then
361+
if grep -q "REINTENTO writer: PROVIDER_UNAVAILABLE" "$EVENTS_LOG_ABS"; then
348362
pass "C-7: el reintento quedo anotado en events.log"
349363
else
350364
fail "C-7: events.log no registra el reintento"

‎.claude/scripts/tests/test-mefisto-run-agent.sh‎

Lines changed: 14 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -304,6 +304,20 @@ check_all_lines_valid() {
304304
check_all_lines_valid "valid-success.jsonl" "$FIXTURES_DIR/valid-success.jsonl"
305305
check_all_lines_valid "valid-failed.jsonl" "$FIXTURES_DIR/valid-failed.jsonl"
306306
check_all_lines_valid "valid-timeout.jsonl" "$FIXTURES_DIR/valid-timeout.jsonl"
307+
# issue #965: terminal de un agotamiento de ventana de uso, uno por runtime.
308+
check_all_lines_valid "valid-rate-limit-claude.jsonl" "$FIXTURES_DIR/valid-rate-limit-claude.jsonl"
309+
check_all_lines_valid "valid-rate-limit-opencode.jsonl" "$FIXTURES_DIR/valid-rate-limit-opencode.jsonl"
310+
311+
if jq -e 'select(.type=="run.failed") | .error.kind == "rate_limit" and .resets_at == "2026-05-07T22:40:00Z"' "$FIXTURES_DIR/valid-rate-limit-claude.jsonl" >/dev/null 2>&1; then
312+
pass "valid-rate-limit-claude.jsonl: error.kind='rate_limit' con resets_at poblado"
313+
else
314+
fail "valid-rate-limit-claude.jsonl: no trae el error.kind/resets_at esperado"
315+
fi
316+
if jq -e 'select(.type=="run.failed") | .error.kind == "rate_limit" and .resets_at == null' "$FIXTURES_DIR/valid-rate-limit-opencode.jsonl" >/dev/null 2>&1; then
317+
pass "valid-rate-limit-opencode.jsonl: error.kind='rate_limit' con resets_at null (sin campo estructurado en OpenCode)"
318+
else
319+
fail "valid-rate-limit-opencode.jsonl: no trae el error.kind/resets_at esperado"
320+
fi
307321

308322
TERMS=$(count_terminals "$FIXTURES_DIR/invalid-two-terminals.jsonl")
309323
if [ "$TERMS" = "2" ]; then

‎.claude/scripts/tests/test-runtime-claude.sh‎

Lines changed: 45 additions & 14 deletions
Original file line numberDiff line numberDiff line change
@@ -11,6 +11,13 @@
1111
# real llamado `claude`: runtime_claude_build_cmd invoca literalmente ese
1212
# nombre).
1313
#
14+
# rate-limit-exhausted.jsonl (issue #965) es una reproduccion VERBATIM de la
15+
# secuencia real que reporta anthropics/claude-code#57096 (CLI v2.1.132):
16+
# `resetsAt: 1778193600` y el "resets 6:40pm (America/New_York)" del mensaje
17+
# sintetico son el par capturado ahi, no valores de adorno -- no "corregirlos"
18+
# para que la fecha del reset se parezca a la del resto del fixture, porque
19+
# entonces el fixture deja de ser evidencia de nada.
20+
#
1421
# Casos cubiertos:
1522
# [pre] Los archivos nuevos existen, tienen sintaxis valida y el programa
1623
# jq corre sin errores.
@@ -24,12 +31,15 @@
2431
# nombre de tool resuelto por emparejamiento de id), en el orden del
2532
# stream.
2633
# [C] CA-3: la clasificacion completa, en el orden de
27-
# classify_agent_failure: killed (exit 137/143) > api_error (del evento
28-
# `result` o del stderr, 5xx antes que 4xx) > stream_cut > no_result >
29-
# nonzero_exit; mas el criterio de exito de tres condiciones
30-
# (is_error==false + subtype==success + stop_reason==end_turn), que
31-
# gana sobre cualquier exit code (PR #446) dejando la muerte posterior
32-
# documentada en `error` sin degradar el `status`.
34+
# classify_agent_failure: killed (exit 137/143) > rate_limit
35+
# (`rate_limit_event{status:"rejected"}`, issue #965) > api_error/
36+
# provider_unavailable (del evento `result` o del stderr, 5xx ->
37+
# provider_unavailable antes que 4xx -> api_error) > stream_cut >
38+
# no_result > nonzero_exit; mas el criterio de exito de tres
39+
# condiciones (is_error==false + subtype==success +
40+
# stop_reason==end_turn), que gana sobre cualquier exit code (PR #446)
41+
# dejando la muerte posterior documentada en `error` sin degradar el
42+
# `status`.
3343
# [D] CA-4: el terminal preserva session_id/tokens/cost_usd/turns/
3444
# ttft_ms/denials/api_duration_ms cuando Claude los entrega: ausentes
3545
# -> null, nunca 0 (success-minimal.jsonl).
@@ -62,6 +72,16 @@ SCHEMA_FILE="$CONTRACT_DIR/run-events.schema.json"
6272
JSONSCHEMA_LITE="$LIB_DIR/jsonschema-lite.jq"
6373
FIXTURES_DIR="$SCRIPT_DIR/fixtures/runtime-claude"
6474

75+
# El runner (mefisto-run-agent.sh) resuelve la lib de adaptador via
76+
# MEFISTO_RUNTIME_LIB_DIR (mefisto-runtime.sh), que respeta un valor ya
77+
# EXPORTADO por el caller. Los pipelines internos la exportan apuntando al
78+
# checkout donde arrancaron, asi que sin pinearla aqui el bloque del runner
79+
# real traduciria con el adaptador de OTRO checkout (el principal) en vez del
80+
# que este test esta juzgando: un gate no determinista que da por bueno
81+
# codigo que nunca ejecuto (MEF-ADR-0031). test-mefisto-run-agent.sh ya la
82+
# controla por el mismo motivo.
83+
export MEFISTO_RUNTIME_LIB_DIR="$LIB_DIR"
84+
6585
PASS=0
6686
FAIL=0
6787
pass() { echo " PASS: $1"; PASS=$((PASS+1)); }
@@ -311,12 +331,19 @@ else
311331
fi
312332

313333
C_529="$TMP/c-529.jsonl"; translate_fixture api-error-529.jsonl > "$C_529"
314-
if jq -e 'select(.type=="run.failed") | .status == "failed" and .error.kind == "api_error" and (.error.detail | contains("529"))' "$C_529" >/dev/null 2>&1; then
315-
pass "C-2: result.is_error con api_error_status:529 -> run.failed{error.kind:api_error, detail con '529'}"
334+
if jq -e 'select(.type=="run.failed") | .status == "failed" and .error.kind == "provider_unavailable" and (.error.detail | contains("529"))' "$C_529" >/dev/null 2>&1; then
335+
pass "C-2: result.is_error con api_error_status:529 -> run.failed{error.kind:provider_unavailable, detail con '529'} (issue #965)"
316336
else
317337
fail "C-2: no se clasifico el 529 como se esperaba: $(jq -c 'select(.type=="run.failed")' "$C_529")"
318338
fi
319339

340+
C_RATELIMIT="$TMP/c-ratelimit.jsonl"; translate_fixture rate-limit-exhausted.jsonl "" 1 > "$C_RATELIMIT"
341+
if jq -e 'select(.type=="run.failed") | .error.kind == "rate_limit" and .resets_at == "2026-05-07T22:40:00Z"' "$C_RATELIMIT" >/dev/null 2>&1; then
342+
pass "C-2b: rate_limit_event{status:rejected} -> run.failed{error.kind:rate_limit, resets_at poblado} (issue #965)"
343+
else
344+
fail "C-2b: no se clasifico la ventana agotada como se esperaba: $(jq -c 'select(.type=="run.failed")' "$C_RATELIMIT")"
345+
fi
346+
320347
C_404="$TMP/c-404.jsonl"; translate_fixture api-error-404.jsonl > "$C_404"
321348
if jq -e 'select(.type=="run.failed") | .error.kind == "api_error" and (.error.detail | contains("404"))' "$C_404" >/dev/null 2>&1; then
322349
pass "C-3: result.is_error con api_error_status:404 -> run.failed{error.kind:api_error, detail con '404'}"
@@ -370,16 +397,16 @@ fi
370397

371398
STDERR_5XX="$TMP/stderr-5xx.log"; printf 'ruido previo\nAPI Error: 500 Internal Server Error\n' > "$STDERR_5XX"
372399
C_STDERR5="$TMP/c-stderr5.jsonl"; translate_fixture killed-no-result.jsonl "" 1 "$STDERR_5XX" > "$C_STDERR5"
373-
if jq -e 'select(.type=="run.failed") | .error.kind == "api_error" and (.error.detail | contains("500"))' "$C_STDERR5" >/dev/null 2>&1; then
374-
pass "C-10: 'API Error: 500' solo en stderr -> run.failed{error.kind:api_error} con el status en el detalle"
400+
if jq -e 'select(.type=="run.failed") | .error.kind == "provider_unavailable" and (.error.detail | contains("500"))' "$C_STDERR5" >/dev/null 2>&1; then
401+
pass "C-10: 'API Error: 500' solo en stderr -> run.failed{error.kind:provider_unavailable} con el status en el detalle (issue #965)"
375402
else
376403
fail "C-10: no se leyo el API Error del stderr: $(jq -c 'select(.type=="run.failed")' "$C_STDERR5")"
377404
fi
378405

379406
STDERR_MIX="$TMP/stderr-mix.log"; printf 'API Error: 400 Bad Request\nAPI Error: 529 Overloaded\n' > "$STDERR_MIX"
380407
C_STDERRMIX="$TMP/c-stderrmix.jsonl"; translate_fixture killed-no-result.jsonl "" 1 "$STDERR_MIX" > "$C_STDERRMIX"
381-
if jq -e 'select(.type=="run.failed") | .error.detail | contains("529")' "$C_STDERRMIX" >/dev/null 2>&1; then
382-
pass "C-11: con 4xx y 5xx en el mismo stderr gana el 5xx (mismo orden que classify_agent_failure)"
408+
if jq -e 'select(.type=="run.failed") | .error.kind == "provider_unavailable" and (.error.detail | contains("529"))' "$C_STDERRMIX" >/dev/null 2>&1; then
409+
pass "C-11: con 4xx y 5xx en el mismo stderr gana el 5xx -> provider_unavailable (issue #965)"
383410
else
384411
fail "C-11: el 5xx no gano sobre el 4xx: $(jq -c 'select(.type=="run.failed")' "$C_STDERRMIX")"
385412
fi
@@ -548,15 +575,19 @@ check_scenario "exito" "$F_EV" 0 "success" "" "$RC"
548575

549576
F_EV="$TMP/f-529.jsonl"
550577
RC=$(MEFISTO_CLAUDE_STUB_FIXTURE="$FIXTURES_DIR/api-error-529.jsonl" MEFISTO_CLAUDE_STUB_EXIT=1 run_claude_scenario "$F_EV")
551-
check_scenario "is_error API Error: 529" "$F_EV" 1 "failed" "api_error" "$RC"
578+
check_scenario "is_error API Error: 529" "$F_EV" 1 "failed" "provider_unavailable" "$RC"
552579

553580
F_EV="$TMP/f-404.jsonl"
554581
RC=$(MEFISTO_CLAUDE_STUB_FIXTURE="$FIXTURES_DIR/api-error-404.jsonl" MEFISTO_CLAUDE_STUB_EXIT=1 run_claude_scenario "$F_EV")
555582
check_scenario "is_error API Error: 404" "$F_EV" 1 "failed" "api_error" "$RC"
556583

557584
F_EV="$TMP/f-stderr-500.jsonl"
558585
RC=$(MEFISTO_CLAUDE_STUB_FIXTURE="$FIXTURES_DIR/killed-no-result.jsonl" MEFISTO_CLAUDE_STUB_STDERR="API Error: 500 Internal Server Error" MEFISTO_CLAUDE_STUB_EXIT=1 run_claude_scenario "$F_EV")
559-
check_scenario "API Error: 500 solo por stderr" "$F_EV" 1 "failed" "api_error" "$RC"
586+
check_scenario "API Error: 500 solo por stderr" "$F_EV" 1 "failed" "provider_unavailable" "$RC"
587+
588+
F_EV="$TMP/f-ratelimit.jsonl"
589+
RC=$(MEFISTO_CLAUDE_STUB_FIXTURE="$FIXTURES_DIR/rate-limit-exhausted.jsonl" MEFISTO_CLAUDE_STUB_EXIT=1 run_claude_scenario "$F_EV")
590+
check_scenario "ventana de uso agotada (rate_limit_event, issue #965)" "$F_EV" 1 "failed" "rate_limit" "$RC"
560591

561592
F_EV="$TMP/f-truncated.jsonl"
562593
RC=$(MEFISTO_CLAUDE_STUB_FIXTURE="$FIXTURES_DIR/stream-truncated.jsonl" MEFISTO_CLAUDE_STUB_EXIT=1 run_claude_scenario "$F_EV")

‎.claude/scripts/tests/test-runtime-opencode.sh‎

Lines changed: 28 additions & 3 deletions
Original file line numberDiff line numberDiff line change
@@ -31,6 +31,9 @@
3131
# diagnostico (`raw_ignored`), con membresia EXACTA: un tipo futuro que
3232
# sea subcadena de uno conocido tampoco cuenta como reconocido.
3333
# [C] CA-3: clasificacion completa -- exito (exit 0 + texto visible) >
34+
# rate_limit (exit != 0 con "429" + "rate limit"/"usage limit" en
35+
# stderr, patron conservador del issue #965: OpenCode no expone un
36+
# evento estructurado equivalente al `rate_limit_event` de Claude) >
3437
# nonzero_exit (exit != 0, detalle de stderr) > no_result (stream
3538
# vacio) > protocol_invalid (linea no-JSON) > no_result (exit 0 sin
3639
# texto visible). El TIMEOUT del watchdog no se ejercita aqui via
@@ -72,6 +75,16 @@ SCHEMA_FILE="$CONTRACT_DIR/run-events.schema.json"
7275
JSONSCHEMA_LITE="$LIB_DIR/jsonschema-lite.jq"
7376
FIXTURES_DIR="$SCRIPT_DIR/fixtures/runtime-opencode"
7477

78+
# El runner (mefisto-run-agent.sh) resuelve la lib de adaptador via
79+
# MEFISTO_RUNTIME_LIB_DIR (mefisto-runtime.sh), que respeta un valor ya
80+
# EXPORTADO por el caller. Los pipelines internos la exportan apuntando al
81+
# checkout donde arrancaron, asi que sin pinearla aqui el bloque del runner
82+
# real traduciria con el adaptador de OTRO checkout (el principal) en vez del
83+
# que este test esta juzgando: un gate no determinista que da por bueno
84+
# codigo que nunca ejecuto (MEF-ADR-0031). test-mefisto-run-agent.sh ya la
85+
# controla por el mismo motivo.
86+
export MEFISTO_RUNTIME_LIB_DIR="$LIB_DIR"
87+
7588
PASS=0
7689
FAIL=0
7790
pass() { echo " PASS: $1"; PASS=$((PASS+1)); }
@@ -413,10 +426,22 @@ fi
413426

414427
STDERR_FILE="$TMP/stderr.log"; printf 'ruido previo\nOpenAI: rate limit exceeded\n' > "$STDERR_FILE"
415428
C_STDERR="$TMP/c-stderr.jsonl"; translate_fixture success-1.18.29.jsonl "" 1 "$STDERR_FILE" > "$C_STDERR"
416-
if jq -e 'select(.type=="run.failed") | .error.detail | contains("rate limit exceeded")' "$C_STDERR" >/dev/null 2>&1; then
417-
pass "C-3: exit != 0 con stderr -> el detalle incluye las ultimas lineas de stderr"
429+
if jq -e 'select(.type=="run.failed") | .error.kind == "nonzero_exit" and (.error.detail | contains("rate limit exceeded"))' "$C_STDERR" >/dev/null 2>&1; then
430+
pass "C-3: exit != 0 con stderr -> el detalle incluye las ultimas lineas de stderr (sin '429': nonzero_exit, no rate_limit)"
431+
else
432+
fail "C-3: no se clasifico como se esperaba: $(jq -c 'select(.type=="run.failed")' "$C_STDERR")"
433+
fi
434+
435+
# issue #965: patron conservador -- hace falta "429" JUNTO con "rate limit"
436+
# (evidencia real: anomalyco/opencode#42029, `Error: 429: {"type":
437+
# "FreeUsageLimitError","message":"...Rate limit exceeded..."}`).
438+
STDERR_RL="$TMP/stderr-ratelimit.log"
439+
printf 'Error: 429: {"type":"FreeUsageLimitError","message":"Error from provider (Console): Rate limit exceeded. Please try again later."}\n' > "$STDERR_RL"
440+
C_RATELIMIT="$TMP/c-ratelimit.jsonl"; translate_fixture success-1.18.29.jsonl "" 1 "$STDERR_RL" > "$C_RATELIMIT"
441+
if jq -e 'select(.type=="run.failed") | .error.kind == "rate_limit" and .resets_at == null' "$C_RATELIMIT" >/dev/null 2>&1; then
442+
pass "C-3b: '429' + 'Rate limit exceeded' en stderr -> run.failed{error.kind:rate_limit, resets_at:null} (issue #965)"
418443
else
419-
fail "C-3: el detalle no incluyo el stderr esperado: $(jq -c 'select(.type=="run.failed")' "$C_STDERR")"
444+
fail "C-3b: no se clasifico la ventana agotada como se esperaba: $(jq -c 'select(.type=="run.failed")' "$C_RATELIMIT")"
420445
fi
421446

422447
C_EMPTY="$TMP/c-empty.jsonl"; translate_fixture empty-1.18.29.jsonl "" 0 > "$C_EMPTY"

‎changelog.d/965.changed.md‎

Lines changed: 1 addition & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1 @@
1+
- El agotamiento de la ventana de uso (5h) y la caida del proveedor pasan a ser familias propias de fallo de agente: `run-events.schema.json` admite `error.kind:"rate_limit"`/`"provider_unavailable"` y un campo opcional `resets_at`; `runtime-claude.jq` los deriva de `rate_limit_event`/`api_error_status` (5xx) y `runtime-opencode.jq` detecta el limite de uso con un patron textual conservador sobre stderr (OpenCode no expone un evento estructurado equivalente). `classify_agent_failure` emite `RATE_LIMIT`/`PROVIDER_UNAVAILABLE` (esta ultima reemplaza a `API_ERROR_SERVER`, misma semantica de reintentable); `RATE_LIMIT` no queda `unrecoverable` ni se reintenta con el backoff corto existente, dejando lista la base para una futura politica de espera (hold) (#965).

0 commit comments

Comments
 (0)