YUKI's DEV LOG
💻 Profile
profile_image
Yuki
software engineer
Working as a software engineer
🔎 Search
All Posts
Data-Engineering/Kafka
Data-Engineering/Kafka

Understanding Apache Kafka Through the CAP Theorem

Understanding Apache Kafka Through the CAP Theorem - Understand how Apache Kafka balances CAP theorem trade-offs. Learn to configure acks, ISR, and repli 썸네일
2025년 12월 14일

Understand how Apache Kafka balances CAP theorem trade-offs. Learn to configure acks, ISR, and replication for consistency vs availability in production.

English
Kafka
System-Design
Data-Engineering/Data-Discovery
Data-Engineering/Data-Discovery

A Deep Dive into Gravitino: Building a Unified Metadata Lake for Iceberg

A Deep Dive into Gravitino: Building a Unified Metadata Lake for Iceberg - Learn how Apache Gravitino creates a unified metadata lake for Iceberg tables. Solve catalog fragmen 썸네일
2025년 12월 14일

Learn how Apache Gravitino creates a unified metadata lake for Iceberg tables. Solve catalog fragmentation with REST APIs, cross-engine access, and centralized governance.

Open Source
Data-Discovery
Gravitino
English
Data-Engineering/Kafka
Data-Engineering/Kafka

CAP 이론으로 이해하는 Apache Kafka의 동작 원리

CAP 이론으로 이해하는 Apache Kafka의 동작 원리 - Apache Kafka가 CAP 이론을 어떻게 적용하며, acks·ISR·리더 선출과 같은 설정이 일관성과 가용성에 어떤 영향을 주는지 배우기. 실제 환경에서 Kafka가 맞닥뜨리 썸네일
2025년 12월 8일

Apache Kafka가 CAP 이론을 어떻게 적용하며, acks·ISR·리더 선출과 같은 설정이 일관성과 가용성에 어떤 영향을 주는지 배우기. 실제 환경에서 Kafka가 맞닥뜨리는 트레이드오프를 이해하기 위한 가이드

Kafka
System-Design
Data-Engineering/Airflow
Data-Engineering/Airflow

Apache Airflow 3.0 Release: Architectural Innovation drives a Data-Centric Paradigm (Part 1)

Apache Airflow 3.0 Release: Architectural Innovation drives a Data-Centric Paradigm (Part 1) - We will explore the major architectural changes in Apache Airflow 3.0. We will take a detailed look  썸네일
2025년 9월 22일

We will explore the major architectural changes in Apache Airflow 3.0. We will take a detailed look at what has been improved, from the implementation of complete decoupling with the introduction of the Task Execution API, remote execution via the Edge Executor.

Data-Engineering
Airflow
English
Data-Engineering/Airflow
Data-Engineering/Airflow

Apache Airflow 3.0: 아키텍처 변화와 데이터 중심 패러다임으로의 시작 (Part 1)

Apache Airflow 3.0: 아키텍처 변화와 데이터 중심 패러다임으로의 시작 (Part 1) - Apache Airflow 3.0의 대대적인 아키텍처 변화를 살펴봅니다. Task Execution API 도입으로 완전한 디커플링 구현, Edge Executor를 통한 원격 실 썸네일
2025년 9월 12일

Apache Airflow 3.0의 대대적인 아키텍처 변화를 살펴봅니다. Task Execution API 도입으로 완전한 디커플링 구현, Edge Executor를 통한 원격 실행, DAG 버전 관리까지 어떤 부분들이 개선되었는지 자세하게 살펴보겠습니다.

Data-Engineering
Airflow
Review
Data-Engineering/BigQuery
Data-Engineering/BigQuery

BigQuery 내부 구조 Deep Dive: Dremel을 포함한 핵심 아키텍처

BigQuery 내부 구조 Deep Dive: Dremel을 포함한 핵심 아키텍처 - Google BigQuery의 핵심 아키텍처를 분석합니다. Dremel 쿼리 엔진, Colossus 스토리지, Capacitor 컬럼 저장소, Jupiter 네트워크, Borg 클 썸네일
2025년 8월 31일

Google BigQuery의 핵심 아키텍처를 분석합니다. Dremel 쿼리 엔진, Colossus 스토리지, Capacitor 컬럼 저장소, Jupiter 네트워크, Borg 클러스터 관리 시스템까지 상세히 설명합니다.

DB
BigQuery
GCP
Data-Engineering
Data-Engineering/Spark
Data-Engineering/Spark

Spark 파티션 알아보기: 병렬처리부터 repartition/coalesce까지

Spark 파티션 알아보기: 병렬처리부터 repartition/coalesce까지 - Apache Spark의 핵심인 파티셔닝 개념부터 실무 최적화까지 정리.
Narrow/Wide Transformation, 셔플링 전략, Data Skew 해결을 위한 repart 썸네일
2025년 8월 22일

Apache Spark의 핵심인 파티셔닝 개념부터 실무 최적화까지 정리. Narrow/Wide Transformation, 셔플링 전략, Data Skew 해결을 위한 repartition과 coalesce 사용법

Spark
Data-Engineering
Data-Engineering/Kafka
Data-Engineering/Kafka

System Design (Apache Kafka) - Part 3 : Kafka 확장성과 Hot Partition 해결 전략

System Design (Apache Kafka) - Part 3 : Kafka 확장성과 Hot Partition 해결 전략 - 시스템 설계 면접에 나오는 Kafka 핵심 질문들을 정리했습니다. Hot Partition 해결 방법, 확장성 전략, 내결함성 설계부터 실제 면접 질문과 모범 답안까지. Messa 썸네일
2025년 8월 16일

시스템 설계 면접에 나오는 Kafka 핵심 질문들을 정리했습니다. Hot Partition 해결 방법, 확장성 전략, 내결함성 설계부터 실제 면접 질문과 모범 답안까지. Message Queue vs Stream 사용 시기도 실무 예제로 설명합니다.

System-Design
Kafka
Data-Engineering/Kafka
Data-Engineering/Kafka

System Design (Apache Kafka) - Part 2 : Sequential I/O와 Zero-Copy로 이해하는 고성능 메시징

System Design (Apache Kafka) - Part 2 : Sequential I/O와 Zero-Copy로 이해하는 고성능 메시징 - Apache Kafka의 고성능 비밀을 파헤칩니다. Sequential I/O와 Zero-Copy 기술로 대량 데이터를 빠르게 처리하는 원리, Pull 모델의 장점, Leader- 썸네일
2025년 8월 16일

Apache Kafka의 고성능 비밀을 파헤칩니다. Sequential I/O와 Zero-Copy 기술로 대량 데이터를 빠르게 처리하는 원리, Pull 모델의 장점, Leader-Follower 복제 메커니즘까지 실무 관점에서 상세히 설명합니다.

System-Design
Kafka
Data-Engineering/Kafka
Data-Engineering/Kafka

System Design (Apache Kafka) - Part 1 : 핵심 개념

System Design (Apache Kafka) - Part 1 : 핵심 개념 - Apache Kafka의 핵심 개념을 월드컵 실시간 통계 시스템 예제로 쉽게 설명합니다. 단일 큐에서 시작해 1,000팀 토너먼트로 확장하면서 발생하는 확장성 문제를 Topic,  썸네일
2025년 8월 16일

Apache Kafka의 핵심 개념을 월드컵 실시간 통계 시스템 예제로 쉽게 설명합니다. 단일 큐에서 시작해 1,000팀 토너먼트로 확장하면서 발생하는 확장성 문제를 Topic, Partition, Consumer Group으로 해결하는 과정을 다룹니다. Broker, Producer, Consumer 등 핵심 구성 요소와 파티션 내 순서 보장 메커니즘까지 실무 관점에서 정리했습니다.

Kafka
System-Design
Infra/GCP
Infra/GCP

[GCP] Bastion-Host 대신 IAP(Identity-Aware Proxy)를 통해 Private Compute Engine에 접근하기

[GCP] Bastion-Host 대신 IAP(Identity-Aware Proxy)를 통해 Private Compute Engine에 접근하기 - GCP의 Identity-Aware Proxy(IAP)를 사용하면 퍼블릭 IP 없이도 Private Compute Engine에 안전하게 접근할 수 있습니다. Bastion Hos 썸네일
2025년 8월 1일

GCP의 Identity-Aware Proxy(IAP)를 사용하면 퍼블릭 IP 없이도 Private Compute Engine에 안전하게 접근할 수 있습니다. Bastion Host나 VPN 없이 IAM 기반 인증으로 SSH 터널링을 구성하는 방법과 아키텍처를 알아봅니다.

GCP
Infra
Infra/GCP
Infra/GCP

[GCP] GCP에서 Public과 Private Subnet 구분하기: 구조와 설정 방법 정리

[GCP] GCP에서 Public과 Private Subnet 구분하기: 구조와 설정 방법 정리 - GCP에서는 서브넷 자체에 퍼블릭/프라이빗 구분이 없습니다. 외부 IP, NAT, 방화벽 설정 등을 통해 퍼블릭처럼 동작하도록 구성합니다. 썸네일
2025년 7월 31일

GCP에서는 서브넷 자체에 퍼블릭/프라이빗 구분이 없습니다. 외부 IP, NAT, 방화벽 설정 등을 통해 퍼블릭처럼 동작하도록 구성합니다.

GCP
Infra
Showing 1-12 of 93 posts
...
💻 Profile
Profile
Yuki
software engineer
Working as a software engineer
💬 Contact
github
email
linkedin
medium
rss