경쟁사 10개 사이트 제품 정보 자동 수집, 월 5만 건 데이터 파이프라인 구축

시장 경쟁력 확보를 위해 경쟁사 제품 동향을 지속 모니터링해야 했던 대기업 소비재 부문. 마케팅전략팀 직원들이 경쟁사 10개 사이트의 제품 가격, 스펙, 리뷰를 매일 수작업으로 수집해 엑셀에 정리하는 비효율이 반복되고 있었다. 수작업 수집은 시간이 오래 걸리고 데이터 누락과 입력 오류가 빈번해 분석 신뢰도에도 영향을 미쳤다. 경쟁사 사이트는 각각 HTML 구조, 동적 로딩 방식, 접근 제한 정책이 달라 범용 크롤링 로직 설계가 어려웠고, 일부는 JavaScript 동적 렌더링을 사용해 단순 HTTP 요청으로는 수집이 불가능했다. 사이트 리뉴얼에 유연하게 대응하는 유지보수성, 사이트마다 다른 포맷·단위·카테고리의 정규화와 정합성 자동 검증, 대상 서버에 부하를 주지 않는 윤리적 수집 전략까지 함께 요구되었다.

사이트별 크롤링 어댑터 패턴을 적용해 10개 사이트 각각의 전용 파서를 독립 모듈로 개발했다. 특정 사이트 구조가 변경되어도 해당 어댑터만 수정하면 전체 시스템에 영향이 없다. 동적 렌더링 사이트는 헤드리스 브라우저 기반 수집으로 JavaScript 생성 콘텐츠까지 완전히 수집했다. 스케줄러 기반 자동 수집 체계로 매일 지정 시간에 전체 사이트를 순회하고, 가격 변동이나 신제품 등록 시 즉시 알림을 발송하는 감지 체계를 마련했다. 사이트별 적응형 딜레이로 대상 서버 과부하를 방지했다. 수집된 원시 데이터는 통일된 스키마로 정규화하고 중복 제거와 이상값 검출을 자동 수행하며, 가격 추이·신제품·리뷰 트렌드를 인터랙티브 대시보드로 시각화했다. 주간·월간 동향 리포트 자동 발송과 크롤링 실패·데이터 이상 시 즉시 알림을 보내는 모니터링 체계로 안정성을 확보했다.

• 월 5만 건 이상 데이터 자동 수집·분류로 경쟁 동향 파악의 정확도와 속도 향상
• 가격 변동·신제품 출시·리뷰 트렌드를 대시보드로 파악해 마케팅 전략 근거로 활용
• 수작업 수집 인력을 데이터 분석·전략 기획 업무로 재배치해 팀 생산성 향상
• 해외 경쟁사 사이트로의 크롤링 범위 확대를 후속 과제로 추진

10개 사이트 전용 크롤링 어댑터, 스케줄 기반 자동 수집 엔진, 데이터 정합성 검증 모듈, 트렌드 대시보드, 주간·월간 자동 리포트, 장애 알림 모니터링 체계.