Data Engineering·2026-01-02·7m
데이터 엔지니어링 시리즈 #9: Spark Structured Streaming - 실시간 데이터 처리
Spark Structured Streaming으로 실시간 데이터 파이프라인을 구축합니다. Kafka 연동, Watermark, Window 연산, 체크포인팅까지.
#Data Engineering#Kafka
Data Engineering·2026-01-02·9m
데이터 엔지니어링 시리즈 #8: Kafka 핵심 - 메시지 큐를 넘어 이벤트 스트리밍으로
Kafka의 핵심 개념을 배웁니다. Redis Streams와 비교하며 Topic, Partition, Consumer Group, Exactly-Once Semantics를 이해합니다.
#Data Engineering#Kafka
Backend·2025-12-30·1m
Redis Streams 기반 비동기 감사 파이프라인 구축
Redis Streams Consumer Group으로 감사 이벤트 파이프라인을 안정적으로 운영하는 방법을 설명합니다.
#Architecture#Database