Repository navigation
Codex 사용량 중복 집계 수정 - #146
Conversation
774a0db to
522e7fb
Compare
|
안녕하세요 @shindonghwi 님, 먼저 직접 사용량 부풀림 문제를 추적해서 원인까지 짚어주시고 PR로 올려주셔서 정말 감사합니다. 🙏 6월에 제보해주신 결론부터 말씀드리면, 문제의 방향(누적 사용량이 중복 집계되어 부풀려진다)은 정확하게 보셨습니다. 다만 이 PR의 dedup 방식이 제 실제 1. dedup 키와 집계 값의 의미가 어긋납니다집계에 실제로 쓰이는 값( 반면 이 PR이 추가한 즉 "누적값이 같으면 델타값도 중복이다" 라고 판정하는 구조인데, 이 두 값은 의미가 다릅니다. 2. 실데이터에서 서로 다른 turn을 잘못 합칩니다
제 데이터로 시뮬레이션한 결과:
3. 현재(v0.19.18) 집계 자체는 이미 정확합니다한 세션에서 검증해보면 4. #145와 책임 영역이 겹칩니다"파일이 재작성/replay되어 중복 집계되는" 문제는 이미 머지된 #145가 그래서 진짜 궁금한 점 — 어떤 데이터에서 부풀려졌나요?제 환경에서는 #145 적용 후 cross-file replay가 0건이고 집계도 정확해서, shindonghwi 님 환경에서 v0.19.18으로도 부풀려지는 실제 원인을 아직 재현하지 못했습니다. 원인을 정확히 잡으려면 그쪽 데이터의 형태를 봐야 할 것 같습니다. 번거로우시겠지만 아래 진단 스크립트를 한 번만 돌려서 출력 결과(토큰 수치만 나오고 프롬프트/코드 내용은 절대 출력되지 않습니다) 를 붙여주실 수 있을까요? 특히 # 읽기 전용, 수정 없음. 토큰 숫자만 출력합니다.
python3 codex-usage-diagnose.py
# 부풀려져 보였던 특정 날짜가 있다면:
python3 codex-usage-diagnose.py 2026-06-22스크립트 전문은 아래 접힌 블록에 넣어두었습니다(복사해서 codex-usage-diagnose.py 로 저장 후 실행). 결과를 주시면 그걸 바탕으로 언더카운트 없이 정확히 그 케이스만 잡는 수정을 같이 만들어보면 좋겠습니다. 다시 한 번, 직접 파고들어 주셔서 감사합니다! 🙇 codex-usage-diagnose.py (클릭해서 펼치기)#!/usr/bin/env python3
"""
Codex 사용량 부풀림 진단 도구 (ai-token-monitor)
================================================
ai-token-monitor가 Codex 사용량을 어떻게 집계하는지 재현하고,
어디서 부풀려지는지(혹은 부풀려지지 않는지)를 알려줍니다.
사용법:
python3 codex-usage-diagnose.py
python3 codex-usage-diagnose.py 2026-06-22 # 특정 날짜만 자세히
이 스크립트는 읽기 전용입니다. 어떤 파일도 수정하지 않습니다.
개인정보(프롬프트 내용 등)는 출력하지 않으며, 토큰 수치만 집계합니다.
"""
import json
import glob
import os
import sys
from collections import defaultdict
SESSIONS = os.path.expanduser("~/.codex/sessions")
def extract_preferred(info):
"""ai-token-monitor의 extract_token_usage 재현:
last_token_usage(per-turn 델타)를 우선, 없으면 total_token_usage(누적) 폴백."""
u = info.get("last_token_usage") or info.get("total_token_usage")
if u is None:
return None
inp = u.get("input_tokens", 0)
out = u.get("output_tokens", 0)
cached = u.get("cached_input_tokens", 0)
tot = u.get("total_tokens", inp + out)
return inp, out, cached, tot
def main():
target_date = sys.argv[1] if len(sys.argv) > 1 else None
files = glob.glob(os.path.join(SESSIONS, "**", "*.jsonl"), recursive=True)
if not files:
print(f"세션 파일을 찾지 못했습니다: {SESSIONS}")
return
# 1) 필드 존재 형태 통계
both = last_only = total_only = neither = 0
# 2) cross-file replay (같은 session_id가 여러 파일에)
session_files = defaultdict(set)
# 3) 파일 내 동일 누적 스냅샷 반복
files_with_repeat_total = 0
# 4) 현재 코드 기준 일별 집계
daily = defaultdict(lambda: [0, 0, 0, 0]) # date -> [input, output, cached, turns]
# 5) 검증: sum(last) vs final total (세션별)
session_sum_last = defaultdict(int)
session_final_total = {}
# 6) total_token_usage 폴백으로만 집계된 turn (누적 누수 의심)
total_fallback_turns = 0
for f in files:
sid = None
prev = None
repeat_seen = defaultdict(int)
with open(f, errors="replace") as fh:
for line in fh:
try:
v = json.loads(line)
except Exception:
continue
t = v.get("type")
if t == "session_meta":
sid = v.get("payload", {}).get("id")
continue
if t != "event_msg":
continue
p = v.get("payload", {})
if p.get("type") != "token_count":
continue
info = p.get("info") or {}
if not info:
continue
has_last = "last_token_usage" in info
has_total = "total_token_usage" in info
if has_last and has_total:
both += 1
elif has_last:
last_only += 1
elif has_total:
total_only += 1
else:
neither += 1
e = extract_preferred(info)
if e is None:
continue
# 연속 동일 스냅샷 skip (현재 코드 동작)
if prev == e:
continue
prev = e
if e == (0, 0, 0, 0):
continue
if not has_last and has_total:
total_fallback_turns += 1
ts = v.get("timestamp", "")[:10] or "?"
if sid:
session_files[ts].add(sid) if False else None # placeholder
session_files[sid].add(f)
daily[ts][0] += e[0]
daily[ts][1] += e[1]
daily[ts][2] += e[2]
daily[ts][3] += 1
# 검증용: last 합산 vs 최종 total
last = info.get("last_token_usage")
if last and sid:
session_sum_last[sid] += last.get("total_tokens", 0)
tot = info.get("total_token_usage")
if tot and sid:
session_final_total[sid] = tot.get("total_tokens", 0)
# 파일 내 누적 스냅샷 반복 카운트
if tot:
rk = (tot.get("input_tokens"), tot.get("output_tokens"), tot.get("total_tokens"))
repeat_seen[rk] += 1
if any(c > 1 for c in repeat_seen.values()):
files_with_repeat_total += 1
cross = {s: fs for s, fs in session_files.items() if len(fs) > 1}
print("=" * 60)
print(f"Codex 세션 진단 ({len(files)}개 파일)")
print("=" * 60)
print()
print("[1] token_count 이벤트의 사용량 필드 형태")
print(f" last+total 둘 다 : {both}")
print(f" last 만 : {last_only}")
print(f" total 만 : {total_only} <- 0보다 크면 누적 누수 위험")
print(f" 둘 다 없음 : {neither}")
print()
print(f"[2] 현재 코드가 total_token_usage(누적)로 폴백 집계한 turn: {total_fallback_turns}")
print(f" (0이 아니면 누적값이 델타처럼 합산되어 부풀려질 수 있음 = $1832 패턴)")
print()
print(f"[3] 같은 session_id가 여러 파일에 나타남 (cross-file replay): {len(cross)}개")
for s, fs in list(cross.items())[:5]:
print(f" - {s[:24]}... ({len(fs)}개 파일)")
if not cross:
print(" 없음 -> PR #145가 막으려는 replay는 이 환경에 없음")
print()
print(f"[4] 한 파일 안에서 동일 누적 스냅샷이 반복되는 파일: {files_with_repeat_total}/{len(files)}")
print(f" (>0 이면 PR #146 dedup이 서로 다른 turn을 잘못 합쳐 언더카운트할 위험)")
print()
print("[5] 집계 정확성 검증: sum(last_token_usage) vs 최종 total_token_usage")
bad = 0
for s in list(session_final_total.keys())[:200]:
final = session_final_total[s]
summed = session_sum_last.get(s, 0)
if final > 0:
ratio = summed / final
if ratio > 1.3 or ratio < 0.7:
bad += 1
if bad <= 5:
print(f" [불일치] {s[:24]}... sum(last)={summed:,} final={final:,} ({ratio:.2f}x)")
if bad == 0:
print(" 모든 세션에서 sum(last) ~= final total (1.00x 근처). 집계 정확.")
else:
print(f" -> {bad}개 세션에서 큰 불일치. 이 세션들이 부풀림 원인일 수 있음.")
print()
print("[6] 일별 집계 (현재 코드 기준, input 큰 순 상위 8개)")
print(f" {'날짜':<12}{'input':>14}{'output':>12}{'cached':>14}{'turns':>8}")
for d, (i, o, c, n) in sorted(daily.items(), key=lambda x: -x[1][0])[:8]:
flag = " <-- 확인" if (target_date and d == target_date) else ""
print(f" {d:<12}{i:>14,}{o:>12,}{c:>14,}{n:>8}{flag}")
print()
if target_date:
print(f"[상세] {target_date} turn별 분해")
for f in files:
sid = None
prev = None
rows = []
with open(f, errors="replace") as fh:
for line in fh:
try:
v = json.loads(line)
except Exception:
continue
if v.get("type") == "session_meta":
sid = v.get("payload", {}).get("id")
if v.get("type") != "event_msg":
continue
p = v.get("payload", {})
if p.get("type") != "token_count":
continue
if (v.get("timestamp", "")[:10]) != target_date:
continue
info = p.get("info") or {}
e = extract_preferred(info)
if e is None or e == (0, 0, 0, 0):
continue
if prev == e:
continue
prev = e
rows.append(e)
if rows:
si = sum(r[0] for r in rows)
print(f" {os.path.basename(f)[:50]} turns={len(rows)} input합={si:,}")
print()
print("진단 결과를 ai-token-monitor 이슈/PR에 붙여주시면 원인 분석에 큰 도움이 됩니다.")
print("(이 스크립트는 토큰 수치만 출력하며 프롬프트/코드 내용은 절대 출력하지 않습니다.)")
if __name__ == "__main__":
main() |
Resuming a session or spawning a subagent makes Codex write a new rollout file that replays the parent's earlier token_count events verbatim (identical per-turn delta and cumulative snapshot, only the timestamp differs). Those copies live in different files, so the path-based purge in parse_incremental can't reach them and build_stats summed each file's copy -- inflating one real session's input ~30x under heavy resume/subagent use (135.9B vs 24.0B of real distinct work in testing). Dedup in build_stats by (session, model, per-turn delta, cumulative snapshot): a verbatim replay shares the whole key and collapses, while a compaction turn (flat cumulative, different delta) keeps a distinct key and is never merged. Sessions that are never replayed have all-unique keys, so this is a no-op -- it does not change aggregation for non-replayed data. Co-Authored-By: Claude Opus 4.8 (1M context) <[email protected]>
522e7fb to
936f266
Compare
|
@soulduse 스크립트 돌려봤습니다. 결론부터 말씀드리면, 부풀림의 원인은 누적 폴백이 아니라 cross-file replay([3] 45건)였습니다. Codex가 서브에이전트를 띄우거나 세션을 resume할 때 부모의 token_count 기록을 새 파일에 그대로 복사하는데, 그게 파일마다 합산되어 부풀려집니다. 그리고 지적해주신 #146의 언더카운트도 맞아서, dedup 방식을 바꿨습니다. 아래에 하나씩 정리했습니다. 1. 누적 폴백($1832 패턴)은 아닙니다 — [2] = 0모든 turn에 2. 진짜 원인은 cross-file replay입니다 — [3] = 45건soulduse님 환경에선 0건이지만 제 환경은 45건입니다. 여기가 결과가 갈린 지점인 것 같습니다.
이 8개가 전부 같은 대화( 3. 왜 이렇게 복제되는가Codex가 서브에이전트 thread를 spawn하거나 세션을 resume하면, 새 rollout 파일을 만들면서 부모의 기록을 그대로 복사합니다.
4. #145로는 잡히지 않습니다#145는 같은 파일이 재작성될 때 path 기준으로 purge하는데, 이 경우는 경로가 전부 다른 파일들이라 그 purge가 닿지 못합니다. 그래서 v0.19.18에서 전부 합산되고, [5]에서 5. 지적하신 언더카운트 — 맞습니다. 방식을 바꿨습니다.①(키가 집계값과 어긋남)과 ②(컴팩션 turn을 잘못 합침) 지적이 정확합니다. 솔직히 제가 올렸던 #146 방식(누적 스냅샷만으로 dedup)이 오히려 더 문제였습니다 — 제 데이터에서 135.9B를 1.5B까지 깎아버립니다(누적은 같지만 델타가 다른 컴팩션 turn까지 합쳐서). 그래서 dedup 키에 집계에 실제 쓰는
검증은 실제 Rust 코드와 파이썬 재구현 두 가지로, 토큰 단위까지 맞춰봤습니다:
#145와는 영역이 다릅니다(#145는 같은 파일 재작성, 이건 다른 경로로 복제된 cross-file replay). 회귀 테스트도 추가했습니다(복사본 병합 / 컴팩션 분리 / replay 없을 때 no-op). 방금 이 방식으로 다시 push 했습니다. 꼼꼼히 검토해 주셔서 감사합니다! 🙇 |
|
@shindonghwi 님, 진단 스크립트까지 직접 돌려서 진짜 원인(cross-file replay)을 규명해주시고, 지적드린 언더카운트까지 깔끔하게 고쳐주셔서 정말 감사합니다. 🙏 새 버전을 실데이터로 전부 다시 검증했고, 이대로 머지하겠습니다. 👍 검증 결과새 dedup 키
이전 방식(누적만)이 제 데이터에서 135.9B를 1.5B로 잘못 깎던 문제가 완전히 사라졌고, replay가 없는 환경에서는 집계에 아무 영향이 없는 게 확인됐습니다. 세 가지 우려(키-값 의미 불일치, 컴팩션 언더카운트, #145와의 중복)가 모두 해소됐습니다. 특히 좋았던 점
꼼꼼하게 끝까지 추적해주셔서 다시 한 번 감사합니다. 머지 후 다음 패치 릴리즈에 포함하겠습니다! 🙇 |
문제
Codex 세션 로그에서 같은 세션의 누적 사용량이 여러 rollout JSONL 파일에 다시 나타나는 경우가 있습니다.
지금 코드는 파일/라인마다
token_count를 전부 더하기 때문에, 이미 한 번 기록된 누적 사용량이 다른 파일에 replay되면 토큰, 비용, 메시지 수가 실제보다 크게 보일 수 있습니다.수정
token_count안의 누적 사용량(total_token_usage)을 중복 판별용 스냅샷으로 보관합니다.(session_id, model, total_token_usage)가 같은 항목은 한 번만 집계합니다.total_token_usage가 없고last_token_usage만 있는 이벤트는 중복 제거하지 않습니다. 정상 사용 이벤트가 잘못 합쳐지지 않게 하기 위해서입니다.확인한 내용
last_token_usage만 있는 이벤트 2개는 2건으로 유지되는 테스트를 추가했습니다.테스트
cargo test providers::codex --libcargo test --lib