Data Engineering·2026-01-02
데이터 엔지니어링 시리즈 #9: Spark Structured Streaming - 실시간 데이터 처리
Spark Structured Streaming으로 실시간 데이터 파이프라인을 구축합니다. Kafka 연동, Watermark, Window 연산, 체크포인팅까지.
Data Engineering·2026-01-02
데이터 엔지니어링 시리즈 #8: Kafka 핵심 - 메시지 큐를 넘어 이벤트 스트리밍으로
Kafka의 핵심 개념을 배웁니다. Redis Streams와 비교하며 Topic, Partition, Consumer Group, Exactly-Once Semantics를 이해합니다.
Backend·2025-12-30
Redis Streams 기반 비동기 감사 파이프라인 구축
Redis Streams와 Consumer Group을 활용하여 At-least-once 전달과 Dead Letter 처리를 지원하는 비동기 감사 파이프라인을 구축하는 방법을 알아봅니다.