DevOps 블로그
직접 운영하는 쿠버네티스 클러스터에서 돌려 보고 잰 값으로 씁니다. 장애를 겪고 고친 기록, 소스 코드를 따라 읽은 기록, 도구를 나란히 놓고 잰 기록이 시리즈로 이어집니다.
- 시리즈 글은 직접 잰 숫자를 근거로 쓰고, 잰 환경과 방법을 함께 적습니다.
- 한 주제를 여러 편으로 나눠 처음부터 끝까지 따라 읽을 수 있게 씁니다.
- 많은 글을 영어·일본어·중국어로도 옮겨 둡니다.
시리즈로 읽기
- 홈랩 사고 노트4편 · 1편부터 읽기공인 접속이 끊긴 날: MetalLB L2 광고가 떠돌고, 첫 처방은 아무도 광고하지 않게 만들었다
- 인프라는 어떻게 동작하나3편 · 1편부터 읽기cert-manager 는 어떻게 인증서를 만들고 갈아 끼우나
- k3s·RKE2·k0s 비교3편 · 1편부터 읽기k3s·RKE2·k0s 구조 비교: 컨트롤 플레인은 어떻게 뜨고 무엇이 기본으로 들어오나
- 학생 VM 이 뜨기까지6편 · 1편부터 읽기학생 VM 이 뜨기까지 1: 학생·백엔드·KubeVirt·스토리지, 네 층으로 본 전체 그림
- KubeVirt 소스 코드 읽기8편 · 1편부터 읽기KubeVirt 소스 코드 읽기 1: 저장소 지도 — 어디부터 읽을까
- 오픈소스 구조 읽기7편 · 1편부터 읽기CloudNativePG 읽기: PID 1 의 매니저, 소켓 너머의 플러그인, WAL 한 조각의 여행
- gRPC 해부8편 · 1편부터 읽기gRPC 가 푸는 문제와 전체 그림: 계약서, 코드 생성, 채널, HTTP/2
- LLM KV 캐시 해부4편 · 1편부터 읽기KV 캐시는 왜 필요한가: 다시 계산하지 않으려고 기억해 두는 것
많이 읽힌 글
최근 30일 동안 검색과 다른 사이트의 링크로 들어온 방문을 셌습니다.
- [Linux] cgroup 완전 가이드: 컨테이너 리소스 제어의 핵심
- AI SEO 툴 2026 완벽 가이드 - Surfer SEO · Frase · MarketMuse · Ahrefs AI · AlsoAsked · NeuralWriter · INK · Outranking · Clearscope 심층 분석
- 팔란티어 FDE(Forward Deployed Engineer) 완전 분석: 역할, 필수 역량, 고객 응대 전략
- 보험사 자산운용과 ALM 직무: 장기 부채에 맞춰 돈을 운용하는 일
- PPT/Word/한글 단축키 완전 가이드: 슬라이드 마스터, 목차, 머릿말 설정까지
- AWS 골든재킷 취득 완전 가이드 — 12개 자격증 전략과 공부법
최근 글
쿠버네티스·DevOps·MLOps 를 직접 돌려 보고 잰 값으로 쓰는 블로그 · 3896 편
직접 만든 임베딩 서버를 Dynamo 임베딩 워커로 바꿔 끼울 수 있는가
운영 중인 임베딩 서버(직접 만든 FastAPI 서버)와 같은 모델을 Dynamo 의 임베딩 워커로 올리고, 같은 입력을 양쪽에 보내 견줬습니다. 벡터는 같았습니다(문서 40개의 코사인 유사도 최소 0.9995). 같은 GPU 에서 묶음 8개 요청의 순차 지연은 54ms 에서 37ms 로, 동시 4 의 처리량은 초당 141문서에서 396문서로 바뀌었습니다. 그러나 그대로 바꿔 끼울 수는 없었
2026-11-15 · 11 분 읽기 #NVIDIA Dynamo#vLLM#임베딩#Qwen3-Embedding#쿠버네티스prefill 과 decode 를 나누면, 작은 모델과 느린 망에서 잰 분리 서빙
Dynamo 의 분리 서빙을 쿠버네티스에서 Grove 없이 띄우고, 3편과 같은 요청을 보냈습니다. 같은 서버 안에서 prefill 워커 둘과 decode 워커 둘로 나누자 첫 토큰 시간의 중앙값이 34~106ms 에서 286~896ms 로 늘었고 처리량은 37~48% 줄었습니다. 캐시에 맞은 요청도 KV 272MB 를 decode 워커로 옮겨야 하기 때문입니다. 서버 사이(1GbE)에서는
2026-11-13 · 12 분 읽기 #NVIDIA Dynamo#vLLM#분리 서빙#prefill decode#NIXL같은 요청을 Dynamo 로 보내면, 라운드로빈과 KV 인지 라우팅 실측
1편에서 잰 요청을 같은 순서로 Dynamo 에 다시 보냈습니다. 프런트엔드를 라운드로빈으로 두면 적중률은 Service 뒤 vLLM 과 같았습니다. Dynamo 를 거치는 것만으로는 캐시가 살아나지 않습니다. KV 인지 라우팅을 켜면 워커 6대에서 요청 단위 적중이 접두 7종 56%→83%, 12종 32%→68%, 24종 18%→43% 로 올랐고, 동시 16 의 TTFT p99 는 1.3~
2026-11-13 · 16 분 읽기 #NVIDIA Dynamo#vLLM#KV 인지 라우팅#접두 캐시#KV 캐시Dynamo 오퍼레이터를 깔기 전에 볼 것: 웹훅 범위, 설치 방식 둘, 반입 목록
Dynamo 1.6.2 를 쿠버네티스에 올리려면 오퍼레이터를 먼저 깔아야 합니다. 차트를 그려 보니 기본(전역) 방식은 ClusterRole 12개와 웹훅 8개를 만들고, 그 가운데 하나는 클러스터의 모든 파드 생성에 걸립니다. 웹훅을 좁히는 값은 차트가 거부했고, 남은 길인 네임스페이스 제한 방식은 단독으로 쓰면 CRD·변환 웹훅 주소·인증서가 빠집니다. 오퍼레이터와 워크로드의 네임스페이스
2026-11-13 · 15 분 읽기 #NVIDIA Dynamo#쿠버네티스 오퍼레이터#승인 웹훅#Helm#폐쇄망Service 뒤에 vLLM 을 여러 대 두면 접두 캐시는 얼마나 맞는가
vLLM 파드 여러 대를 쿠버네티스 Service 하나로 묶으면 요청은 아무 파드로나 갑니다. 접두 캐시는 파드마다 따로이므로, 같은 앞부분을 가진 요청이 다른 파드로 가면 처음부터 다시 계산합니다. 0.6B 모델과 워커 6대·3대로 재 보니 접두가 2종일 때는 요청의 95~98% 가 캐시에 맞았지만 7종에서 52~60%, 12종에서 29~34%, 24종에서 16~18% 로 떨어졌습니다. 이
2026-11-13 · 11 분 읽기 #NVIDIA Dynamo#vLLM#접두 캐시#KV 캐시#쿠버네티스열린 PR 45건을 한 번에 점검했다: 병합 상태 다섯 가지와 충돌 셋, 클론 없이 다시 얹기
올려 둔 PR 은 가만히 있어도 낡습니다. 업스트림에 열려 있는 PR 45건의 병합 상태를 GitHub API 로 한 번에 조회했더니 BLOCKED 24, UNSTABLE 9, CLEAN 7, BEHIND 3, DIRTY 2 였고, 첫 조회에서는 네 건이 UNKNOWN 으로 나왔습니다. 충돌 세 건은 원인이 모두 달랐습니다. 이웃 줄이 고쳐진 한 건은 새 기준 위로 다시 얹어 풀었고, 문서가
2026-11-12 · 21 분 읽기 #오픈소스#오픈소스 기여#GitHub#Git#코드 리뷰비워 둔 limit 은 무제한이 아니라 0 이었다: KAI-Scheduler 큐 문서 PR 이 13일 만에 병합되기까지
GPU 작업용 쿠버네티스 스케줄러 KAI-Scheduler 의 큐 문서는 limit 을 비워 두면 「추가 자원 없음」이라고 적었고, 마지막 예시 제목은 「Unlimited Queue - default value is -1」이었습니다. 실제로는 비워 둔 limit 이 0 으로 읽히고, 상한 0 은 quota 안의 자원까지 막습니다. 그래서 문서의 예시 큐 셋을 글자 그대로 적용하면 셋 다 파드
2026-11-09 · 19 분 읽기 #오픈소스#오픈소스 기여#쿠버네티스#GPU 스케줄링#KAI-Scheduler헤어핀 NAT 실측 2: 파드가 자기 Service 를 부를 때
쿠버네티스에서 파드가 자기 자신이 뒤에 있는 Service 주소로 요청하면, 그 요청은 Service 를 거쳐 같은 파드로 돌아와야 합니다. 공유기의 헤어핀과 같은 모양의 문제여서 해법도 같습니다. 목적지와 함께 출발지를 바꿉니다. 이 글은 리눅스 브리지의 hairpinmode, kubelet 의 hairpinMode 가 쿠버네티스 1.24 이후로는 소스에서 설정 검증 말고는 읽히지 않는다는
2026-10-31 · 18 분 읽기 #쿠버네티스#네트워크#헤어핀 NAT#Service#kube-proxy헤어핀 NAT 실측 1: 사내에서만 우리 도메인이 안 열린다
공유기 뒤에 서비스를 열어 두면, 바깥에서는 잘 열리는 도메인이 같은 사설망 안에서만 열리지 않는 일이 흔합니다. 공유기가 포트 포워딩으로 목적지만 바꾸면 서버가 같은 망의 클라이언트에게 바로 답하고, 공인 주소에서 답이 오기를 기다리던 클라이언트는 그 답을 버립니다. 헤어핀 NAT 는 출발지까지 바꿔 답이 공유기를 거쳐 돌아오게 하는 방법이고, NAT 규격(RFC 4787·5382)은 이것
2026-10-31 · 17 분 읽기 #네트워크#NAT#헤어핀 NAT#루프백 NAT#DNS텐서 코어 제한 풀기 실측 1: 행렬곱은 1.6배, 실시간 공 찾기는 0.9%
엔비디아의 소비자용 카드는 FP32 로 누적하는 FP16·BF16·TF32 텐서 코어 연산을 절반 속도로 돌립니다. 서드파티 커널 모듈 gpu-unlock 은 부팅 때 GPU 보안 프로세서의 부팅 경로를 거쳐 이 제한을 풉니다. 24GB GPU 서버 한 대에 걸어 보니 커널 로그의 속도 선택 레지스터가 0x43301046 에서 0x88888888 로 바뀌었고, 행렬곱 8192³ 의 BF16
2026-10-31 · 29 분 읽기 #GPU#텐서 코어#커널 모듈#프로파일링#PyTorch2026년 LLM 학습 연구의 흐름: 옵티마이저, 데이터, 증류, 그리고 RL
2026년 하반기 LLM 학습 논문을 갈래별로 정리합니다. 사전학습 쪽에서는 Muon 계열이 기본 옵티마이저가 되어 가고, 웹 데이터의 AI 글 비율이 31% 를 넘어 데이터가 모자랄 때만 도움이 된다는 스케일링 법칙이 나왔으며, 작은 예산으로 처음부터 학습하는 레시피(IMU-1, Puro-2B)가 Muon 변형·긴 감소 스케줄·품질 커리큘럼을 씁니다. 후학습 쪽에서는 RL 이 드문 결정 지
2026-10-31 · 14 분 읽기 #LLM 학습#사전학습#데이터 큐레이션#지식 증류#강화학습RL 은 골라내는가: 0.5B 모델로 재 본 GRPO 와 pass@k
RL 후학습은 새 능력을 만들까요, 베이스가 가끔 내던 답을 골라낼까요? 0.5B 지시 모델에 세 자리 곱셈 산수로 GRPO 를 직접 돌려 pass@k 를 쟀습니다. 많은 문제로 75걸음 학습하자 계산 정확도(pass@1)는 0.25 에서 0.66 으로 올랐지만 32번 뽑아 하나라도 맞힐 확률은 0.84 대 0.81 로 같았습니다. 150걸음까지 늘리면 그 상한이 0.68 로 내려가 k=16
2026-10-31 · 24 분 읽기 #강화학습#GRPO#RLVR#pass@k#LoRA작은 GPT 로 재 본 AdamW 대 Muon 대 MUON+
3,400만 파라미터 GPT 를 FineWeb-Edu 토큰 1억 개로 학습하며 옵티마이저만 바꿔 쟀습니다. 학습률을 옵티마이저마다 따로 탐색하고 weight decay 의 실제 세기와 임베딩 쪽 AdamW 를 맞춘 뒤에도, Muon 의 최종 검증 손실은 AdamW 보다 0.081 낮았습니다(시드 셋, 표준편차 0.003). 같은 손실에 AdamW 는 토큰이 1.4–1.6배 들었고, 배치를 4
2026-10-31 · 17 분 읽기 #Muon#MUON+#AdamW#옵티마이저#LLM 사전학습Muon 해설: 기울기 행렬을 직교화하는 옵티마이저
2026년 LLM 사전학습 논문을 읽다 보면 옵티마이저 자리에 AdamW 대신 Muon 이 자주 보입니다. Muon 은 모멘텀 행렬을 특잇값이 모두 1 인 행렬로 바꿔서, 몇 방향에 몰린 업데이트를 모든 방향에 고르게 나눕니다. SVD 대신 행렬 곱 다섯 번(Newton–Schulz)으로 근사하므로 싸고, 은닉층의 2차원 행렬에만 씁니다. 합성 행렬로 재 보니 위 10개 방향이 차지하던 에너
2026-10-31 · 15 분 읽기 #Muon#옵티마이저#AdamW#Newton-Schulz#MUON+폐쇄망 k0s 멀티노드 실측 3: 노드 3대 HA 위에 Rook-Ceph 와 CloudNativePG
노드 3대를 모두 컨트롤러 겸 워커로 두고, 바깥 로드밸런서 없이 k0s 의 CPLB(keepalived 가상 IP)와 NLLB(노드마다 envoy)로 API 를 묶었습니다. 가상 IP 를 가진 노드를 멈추면 네 번 모두 0~3초 안에 API 가 돌아왔고(쓰기는 1~3초), 두 대를 멈추면 etcd 가 과반을 잃어 30초 동안 쓰기가 전부 실패했습니다. 그 위에 이미지 18개(1.8GB)를
2026-10-31 · 37 분 읽기 #쿠버네티스#k0s#폐쇄망#고가용성#Rook폐쇄망 k0s 멀티노드 실측 2: 노드 2대, 컨트롤러가 90초 멈춘 동안 워커는 계속 응답했다
서버가 2대뿐이면 둘 다 컨트롤러로 만들고 싶어집니다. 하지만 etcd 멤버 2개의 과반은 2라서 하나만 죽어도 쓰기가 멈추고, 견디는 장애 수는 1대일 때와 같은 0입니다. 그래서 2대는 컨트롤러 1 + 워커 1 로 세웠고, 컨트롤러를 90초 멈춰 보았습니다. 5초 간격으로 18번 재는 동안 API 는 18번 모두 실패했지만 워커의 nginx 는 18번 모두 200 을 돌려줬고, 컨트롤러를
2026-10-31 · 18 분 읽기 #쿠버네티스#k0s#k0sctl#폐쇄망#etcd폐쇄망 k0s 멀티노드 실측 1: 인터넷을 막았다는 것을 어떻게 증명하나, 그리고 노드 1대
인터넷이 막힌 곳에 k0s 를 까는 일은 「무엇을 들고 들어가나」 보다 「정말 아무것도 밖으로 나가지 않았나」 를 증명하는 일이 더 어렵습니다. 이 글은 반입 서버 하나와 VM 안 nftables 로 폐쇄망을 만들고, 바깥 HTTPS 가 0.014초 만에 거절되고(curl rc=7), 반입하지 않은 이미지만 ErrImagePull 이 나며, k0sctl 로 설치와 백업을 하는 동안 반입 서버
2026-10-31 · 24 분 읽기 #쿠버네티스#k0s#폐쇄망#에어갭#nftablesKubeVirt 라이브 마이그레이션 실측 2: 바쁜 메모리, 노드 비우기, 동시 한도
메모리를 계속 고쳐 쓰는 VM 은 기본 설정으로 옮겨지지 않았습니다. 1Gi 게스트에 512MB 쓰기 부하를 걸자 게스트가 더럽히는 속도가 보내는 속도와 거의 같아 사전 복사가 끝나지 않았고, 약 300초 뒤 포기했습니다. 대역폭 제한은 도움이 되지 않았고(32Mi 로 걸었는데 실제로는 약 75MiB/s 가 나갔습니다), autoConverge 를 켜자 33–43초 만에 세 번 모두 성공했습
2026-10-30 · 20 분 읽기 #쿠버네티스#KubeVirt#가상머신#라이브 마이그레이션#drainKubeVirt 라이브 마이그레이션 실측 1: 게스트는 0.34초 멈췄는데 서비스는 2.4초 끊겼다
KubeVirt 의 라이브 마이그레이션은 게스트를 켠 채로 다른 노드로 옮깁니다. 부하 없는 1Gi VM 을 다섯 번 옮겨 보니 libvirt 가 잰 게스트 멈춤은 343ms(338–490)였지만, Service 를 거쳐 바깥에서 두드린 새 연결은 2.4초(1.2–2.8) 동안 응답이 없었고 유지하던 TCP 연결은 다섯 번 모두 끊겼습니다. masquerade 네트워크에서는 마이그레이션이 끝
2026-10-30 · 35 분 읽기 #쿠버네티스#KubeVirt#가상머신#라이브 마이그레이션#CPU 모델판테온 돔은 어떻게 2천 년 가까이 버텼나: Blender 로 만든 해설 영상
철근 하나 없는 지름 43 m 콘크리트 돔이 약 1,900년을 서 있는 이유를 3D 해설 영상과 단면 그림으로 풉니다. 위로 갈수록 얇게, 위로 갈수록 가벼운 골재로, 안쪽 격자 천장으로, 꼭대기 오큘러스로 무게를 덜어 낸 네 가지 장치와, 금이 간 돔이 아치 여러 개처럼 압축만으로 서는 원리, 계단식 고리와 오큘러스 압축 고리의 역할을 논문 수치로 확인합니다. 영상은 Blender 파이썬
2026-10-30 · 14 분 읽기 #건축#구조#판테온#로마 콘크리트#돔