Redis Streams 기반 비동기 감사 파이프라인 구축

감사 이벤트 파이프라인의 목표는 단순 처리량이 아니라 "유실 없이 재처리 가능한 구조"입니다.

권장 구조

1. Producer: 이벤트 발행
2. Stream + Consumer Group: 병렬 처리
3. Worker: 핸들러 실행 + ACK
4. Dead Letter Stream: 반복 실패 격리

구현 핵심

1) >와 0을 분리 처리

• >: 신규 메시지
• 0: Pending 재처리

재시작 후 0 처리를 빼면 유령 pending이 남습니다.

2) ACK 시점

핸들러 성공 후에만 ACK해야 at-least-once가 유지됩니다.

3) 재시도 정책

delivery count 기반으로 최대 재시도 횟수를 제한하고, 초과 시 DLQ로 이동합니다.

4) 메모리 관리

스트림은 누적됩니다. XTRIM 정책을 운영 기준으로 반드시 설정하세요.

운영 체크리스트

1. pending 길이, 재시도율, DLQ 유입량 모니터링
2. consumer 멈춤 감지 및 자동 복구
3. 메시지 스키마 버전 관리
4. 재처리 도구(범위 replay) 준비

결론

Redis Streams는 빠른 큐가 아니라 상태 있는 로그입니다. pending과 재시도를 제대로 관리할 때만 신뢰 가능한 감사 파이프라인이 됩니다.