경쟁사 10개 사이트 제품 정보 자동 수집, 월 5만 건 데이터 파이프라인 구축

01 / THE CHALLENGE

문제의 출발점.

시장 경쟁력 확보를 위해 경쟁사 제품 동향을 지속 모니터링해야 했던 대기업 소비재 부문. 마케팅전략팀 직원들이 경쟁사 10개 사이트의 제품 가격, 스펙, 리뷰를 매일 수작업으로 수집해 엑셀에 정리하는 비효율이 반복되고 있었다. 수작업 수집은 시간이 오래 걸리고 데이터 누락과 입력 오류가 빈번해 분석 신뢰도에도 영향을 미쳤다. 경쟁사 사이트는 각각 HTML 구조, 동적 로딩 방식, 접근 제한 정책이 달라 범용 크롤링 로직 설계가 어려웠고, 일부는 JavaScript 동적 렌더링을 사용해 단순 HTTP 요청으로는 수집이 불가능했다. 사이트 리뉴얼에 유연하게 대응하는 유지보수성, 사이트마다 다른 포맷·단위·카테고리의 정규화와 정합성 자동 검증, 대상 서버에 부하를 주지 않는 윤리적 수집 전략까지 함께 요구되었다.

02 / THE APPROACH

업무의 맥락부터, 설계에 담았습니다.

사이트별 크롤링 어댑터 패턴을 적용해 10개 사이트 각각의 전용 파서를 독립 모듈로 개발했다. 특정 사이트 구조가 변경되어도 해당 어댑터만 수정하면 전체 시스템에 영향이 없다. 동적 렌더링 사이트는 헤드리스 브라우저 기반 수집으로 JavaScript 생성 콘텐츠까지 완전히 수집했다. 스케줄러 기반 자동 수집 체계로 매일 지정 시간에 전체 사이트를 순회하고, 가격 변동이나 신제품 등록 시 즉시 알림을 발송하는 감지 체계를 마련했다. 사이트별 적응형 딜레이로 대상 서버 과부하를 방지했다. 수집된 원시 데이터는 통일된 스키마로 정규화하고 중복 제거와 이상값 검출을 자동 수행하며, 가격 추이·신제품·리뷰 트렌드를 인터랙티브 대시보드로 시각화했다. 주간·월간 동향 리포트 자동 발송과 크롤링 실패·데이터 이상 시 즉시 알림을 보내는 모니터링 체계로 안정성을 확보했다.

03 / THE PROCESS

작은 검증을 쌓아, 작동하는 시스템으로.

1. 01

   10개 사이트 구조 분석과 어댑터 패턴 아키텍처 설계

2. 02

   사이트별 전용 파서·헤드리스 브라우저 수집 구현

3. 03

   스케줄러 기반 일 1회 자동 수집과 변동 감지 알림 구축

4. 04

   데이터 정규화·중복 제거·이상값 검출 파이프라인 구현

5. 05

   가격·신제품·리뷰 트렌드 대시보드와 자동 리포트 개발

6. 06

   크롤러 모니터링·장애 알림 체계 구축과 운영 이관

04 / THE OUTCOME

숫자와 업무 방식에 남은 결과.

• 월 5만 건 이상 데이터 자동 수집·분류로 경쟁 동향 파악의 정확도와 속도 향상
• 가격 변동·신제품 출시·리뷰 트렌드를 대시보드로 파악해 마케팅 전략 근거로 활용
• 수작업 수집 인력을 데이터 분석·전략 기획 업무로 재배치해 팀 생산성 향상
• 해외 경쟁사 사이트로의 크롤링 범위 확대를 후속 과제로 추진

05 / THE HANDOVER

인도 이후에도, 팀의 자산으로.

10개 사이트 전용 크롤링 어댑터, 스케줄 기반 자동 수집 엔진, 데이터 정합성 검증 모듈, 트렌드 대시보드, 주간·월간 자동 리포트, 장애 알림 모니터링 체계.