글 검색
제목, 설명, 태그, 본문에서 글을 검색합니다.
소개로 돌아가기
SaaS형 모니터링 서비스 데이터 수집 파이프라인 구축
주식회사 엑셈 · 2021.01 — 2021.09
Kafka StreamApache DruidSpring BootKubernetes
수행 내용
- •Kafka Stream으로 Kafka 수집 데이터를 재가공해 서비스별 조회 데이터 생성
- •Apache Druid로 실시간 데이터를 수집·저장하고 조회 가능한 상태로 관리
- •제한된 인프라에서 Apache Druid 수집/조회 경로를 분리해 성능 최적화
- •메모리 사용량 기반 Kubernetes scale in/out을 구성해 부하 변화에도 무중단 운영
성과
- •Kafka Stream을 Spring Boot로 구현해 유지보수성 확보
- •서버별 데이터 가공 로직 중복을 줄이고 생산성 개선
- •공식 권장 스펙의 약 1/2 규모에서도 초당 45,000건 처리 성능 유지
- •데이터 유실과 중복을 줄여 수집 정합성 유지