DJ 티몽입니다! 이번 사연은 닉네임 '로그흐름장인'님이 보내주신 이야기입니다. 사연자님은 K보험사에서 UI 로그 수집·분석 체계와 연계 아키텍처를 담당하고 계신데요. “로그는 쌓이는데, 서비스 개선은 왜 이렇게 느릴까?”라는 고민이 있었다고 합니다.
K보험사는 앱·웹에서 발생하는 UI 로그를 꾸준히 모으고 있었지만, 기존 연계 시스템으로는 실시간 처리와 대량 로그 분석에 한계가 있었습니다. 그 결과 서비스 개선 속도는 느려지고, 시스템 간 연계는 점점 복잡해지는 상황이었죠.
Now Spinning🎧
K보험사가 선택한 해법은 Kafka와 Confluent를 도입해, 기존 배치 중심 구조를 실시간 스트리밍 구조로 바꾸는 것이었습니다. 연계 시스템 사이에서 발생하던 데이터 처리 병목을 줄이고, UI 로그를 비동기 데이터 흐름으로 재구성한 것이죠.
UI 로그를 Kafka Topic으로 실시간 수집하고, Confluent Sink 커넥터로 Hadoop 분석 플랫폼에 자동 연계, 여기에 DevOps 환경에 맞춘 구조와 Confluent Control Center 기반 모니터링 체계를 더해 로그 수집부터 분석까지 전 과정을 하나의 흐름으로 보고 관리할 수 있게 되었습니다.
🔑이 변화로 K보험사는 …
사용자 행동 기반 서비스 개선 속도를 높이고, 연계 아키텍처의 유연성과 확장성을 확보했으며 로그 처리·분석 자동화로 운영 부담을 크게 줄일 수 있었습니다.
GetTech NEWS
Confluent 데이터 스트리밍 행사 참가 (10/16)
지티플러스는 지난 달 열린 「Data Streaming World Tour 2025 Seoul」에 Confluent 공식 기술 파트너로 참여해, Confluent Platform + Oracle Cloud 기반 실시간 데이터 파이프라인 데모를 선보였습니다. 자동화 설치, Kafka 모니터링, ksqlDB 처리 과정을 통해 데이터 스트리밍 기반 AI·마이크로서비스 환경을 어떻게 구현할 수 있는지 소개했으며, 앞으로도 Confluent와 함께 고객사의 실시간 데이터 활용 확대를 지원할 계획입니다. 기사보기
Kafka Data Streaming 기초 교육 진행 (11/19)
「Kafka와 Kafka Connect를 이용한 데이터 흐름 이해」 교육은 이론과 실습을 함께 다루며 데이터 파이프라인 설계·운영의 기초를 다지는 시간이었습니다. 카프카의 핵심 개념과 생태계를 살펴보고, 직접 데이터를 흘려보내는 실습까지 진행하며 Kafka 기반 데이터 파이프라인이 어떻게 만들어지고 동작하는지 익혀보는 유익한 자리였습니다.
