Cover image

AI 코딩 벤치마크 오류, SWE-Bench Pro 논란

한 줄 요약: SWE-Bench Pro 과제의 약 30%가 깨졌다는 OpenAI 감사 결과는 AI 코딩 에이전트의 성능 지표를 그대로 믿기 어렵다는 사례다. 실제 업무에 쓰기 전에 점수가 무엇을 재는지부터 확인해야 한다. 무슨 일이 있었나 2026년 7월 8일, OpenAI는 코딩 평가 벤치마크 SWE-Bench Pro를 감사한 결과를 공개했다. SWE-Bench Pro는 실제 저장소의 변경 이력에서 과제를 만들고, 모델이 기능을 구현해 숨겨진 테스트를 통과하는지 보는 평가다. OpenAI는 이전에 SWE-bench Verified의 설계와 오염 문제를 지적하며 SWE-Bench Pro 사용을 권한 적이 있다. 이번 글에서는 그 추천을 철회했다. 731개 공개 과제 중 상당수가 모델 능력을 제대로 재는 과제가 아니었다는 이유다. ...

2026년 7월 9일 · 1064 단어 · gnosyslambda

OpenAI Responses API로 AI 에이전트 구축하기: 컴퓨터 환경 및 셸 도구 활용

한 줄 요약 — 단순한 텍스트 생성을 넘어 호스팅 컨테이너 환경과 셸(Shell) 도구를 결합하여 실질적인 작업을 수행하는 에이전트 환경 구축 전략을 다룹니다. LLM이 직접 코드를 실행해야 하는 이유 모델이 질문에 답하는 수준을 넘어 스스로 도구를 사용하고 환경을 조작하는 에이전트(Agent)로 진화하고 있습니다. 기존의 방식은 모델이 생성한 코드를 개발자가 복사해서 실행하거나, 로컬 환경에서 위험을 감수하며 실행 스크립트를 돌리는 형태가 많았습니다. 하지만 실무에서 복잡한 데이터 분석이나 파일 편집 작업을 자동화하려면 모델이 자유롭게 접근할 수 있는 격리된 실행 환경(Sandboxed Environment)이 필수적입니다. OpenAI가 공개한 Responses API와 컴퓨터 환경(Computer Environment) 결합 방식은 이러한 인프라 고민을 덜어주는 흐름을 보여줍니다. ...

2026년 3월 25일 · 852 단어 · gnosyslambda

AI 에이전트 보안: 프롬프트 인젝션 방어 및 설계 가이드

AI 에이전트가 단순한 챗봇을 넘어 파일 시스템에 접근하고 코드를 실행하며 외부 API를 호출하는 능력을 갖추면서 보안 위협의 양상도 완전히 달라졌습니다. 프롬프트 인젝션(Prompt Injection)은 이제 단순히 모델에게 부적절한 답변을 유도하는 수준을 넘어, 시스템의 권한을 탈취하거나 데이터를 유출하려는 시도로 진화하고 있습니다. 한 줄 요약 — 프롬프트 인젝션 위협으로부터 AI 에이전트를 보호하기 위해 명령 계층 구조(Instruction Hierarchy)를 확립하고 도구 실행 환경을 격리하는 설계 원칙이 필수적입니다. 에이전트 보안 설계를 고민해야 하는 이유 최근 많은 팀이 LLM을 활용해 워크플로우를 자동화하려 시도하고 있습니다. 하지만 모델이 도구(Tool)를 직접 제어하게 되는 순간, 외부에서 유입된 신뢰할 수 없는 텍스트가 시스템 명령어로 돌변할 위험이 생깁니다. 웹 페이지를 요약하라고 시킨 에이전트가 해당 페이지에 숨겨진 악성 스크립트를 읽고 사용자의 이메일을 모두 삭제하라는 명령을 실행할 수도 있습니다. ...

2026년 3월 21일 · 768 단어 · gnosyslambda

OpenClaw 심층 분석: 25만 스타의 오픈소스 AI 에이전트, 그 이후의 진짜 질문

왜 지금 이게 문제인가 2025년 11월, 오스트리아 개발자 Peter Steinberger가 “Clawdbot"이라는 이름으로 오픈소스 AI 에이전트를 공개했다. 터미널에서 코드를 읽고, 브라우저를 돌리고, 테스트를 실행하는 – 말 그대로 ‘행동하는’ AI 에이전트였다. 이름이 Anthropic의 Claude와 너무 유사하다는 법적 경고를 받아 “OpenClaw(오픈클로)“로 리브랜딩한 뒤, 2026년 1월 말 갑자기 바이럴을 탔다. 72시간 만에 GitHub 60,000 스타. 2026년 3월 3일 기준 250,829 스타로, React가 10년에 걸쳐 쌓은 기록을 3개월 만에 넘어섰다. 그런데 진짜 사건은 그 이후에 터졌다. 2026년 2월 14일, Sam Altman이 직접 트위터에서 Peter Steinberger의 OpenAI 합류를 발표했다. 오픈소스 AI 에이전트의 상징적 인물이 가장 공격적인 상용 AI 기업으로 이직한 것이다. 프로젝트는 독립 오픈소스 재단으로 이전됐지만, 커뮤니티에는 불안감이 퍼지고 있다. ...

2026년 2월 28일 · 829 단어 · gnosyslambda

OpenAI는 어떻게 PostgreSQL 하나로 8억 사용자를 감당하는가

왜 지금 이게 문제인가 “PostgreSQL은 스타트업 DB 아닌가?” 많은 한국 개발자들이 대규모 트래픽을 언급할 때 당연하게 NoSQL이나 NewSQL을 먼저 떠올린다. 그런데 세계에서 가장 폭발적으로 성장한 서비스인 ChatGPT가 단일 PostgreSQL 프라이머리 인스턴스를 핵심 데이터 저장소로 사용하고 있다는 사실은 업계의 통념을 정면으로 뒤집는다. OpenAI는 1년 만에 트래픽이 10배 증가하는 상황에서도 PostgreSQL을 포기하지 않았다. 대신 약 50대의 읽기 복제본(Read Replica)을 배치하고, 쓰기 부하가 큰 워크로드만 선별적으로 CosmosDB로 분리하는 전략을 택했다. 결과는 p99 레이턴시 두 자릿수 밀리초, 가용성 99.999%. ...

2026년 1월 28일 · 770 단어 · gnosyslambda