Data Engineering·2026-01-02
데이터 엔지니어링 시리즈 #9: Spark Structured Streaming - 실시간 데이터 처리
Spark Structured Streaming으로 실시간 데이터 파이프라인을 구축합니다. Kafka 연동, Watermark, Window 연산, 체크포인팅까지.
Data Engineering·2026-01-02
데이터 엔지니어링 시리즈 #5: PySpark 실전 - 데이터 처리 패턴과 최적화
실무에서 자주 사용하는 PySpark 패턴을 배웁니다. DataFrame 연산, UDF 최적화, 조인 전략, 캐싱, 그리고 피해야 할 안티패턴까지.
Data Engineering·2026-01-02
데이터 엔지니어링 시리즈 #4: Spark 내부 동작 원리 - Job, Stage, Task
Spark의 실행 모델을 이해합니다. Job, Stage, Task 계층, Shuffle의 비용, 파티셔닝 전략, 그리고 Spark UI를 읽는 법까지.
Data Engineering·2026-01-02
데이터 엔지니어링 시리즈 #3: Spark 핵심 개념 - RDD에서 DataFrame까지
분산 처리의 핵심 개념과 Spark의 추상화 계층을 이해합니다. Goroutine, ThreadPoolExecutor와 비교하며 Spark가 해결하는 문제를 파악합니다.