크롤링 파이프라인은 만드는 것보다 지키는 것이 어렵다

크롤링 파이프라인은 만들 때보다 운영할 때 본색이 드러납니다. 데모 시연에서는 잘 돌던 수집기가 몇 주 뒤 소스 사이트의 개편 한 번에 조용히 멈추고, 아무도 모르는 채 빈 데이터가 쌓입니다. 저희는 공공조달 공고를 매일 수천 건씩 자동 수집하는 분석 플랫폼과 24시간 시장 데이터를 수집하는 트레이딩 시스템을 운영 관점에서 설계해 왔습니다. 이 글은 그 경험에서 정리한, 크롤링 파이프라인을 안정적으로 굴리는 원칙입니다.

01원칙 1 · 크롤링은 최후의 수단이다

역설적이지만 크롤링 파이프라인의 첫 번째 원칙은 크롤링을 줄이는 것입니다. 공식 API가 있으면 API를, RSS가 있으면 RSS를, 정기 파일 제공이 있으면 그것을 씁니다. 공공 조달처럼 공식 개방 API가 제공되는 소스는 반드시 API로 갑니다. 화면을 긁는 방식은 상대 사이트의 사소한 개편에도 깨지고, 상대 서버에 부담을 주며, 법적 리스크도 있습니다. 화면 수집이 불가피한 소스는 시작 전에 이용약관과 robots 정책, 수집 주기의 적정성을 확인하고, 문제가 될 수 있는 소스는 목록에서 빼는 결정도 해야 합니다.

02원칙 2 · 가장 무서운 실패는 조용한 실패다

크롤러가 에러를 내며 죽는 것은 좋은 실패입니다. 알 수 있기 때문입니다. 나쁜 실패는 크롤러는 도는데 데이터가 이상해지는 경우입니다. 사이트 구조가 바뀌어 가격 칸에서 빈 값을 읽어오거나, 목록의 절반만 수집되거나, 같은 항목이 중복으로 쌓입니다. 이런 실패는 며칠 뒤 누군가 '요즘 데이터가 이상하다'고 말할 때까지 발견되지 않습니다.

• 수집량 감시. 소스별 일일 수집 건수를 기록하고, 평소 범위를 벗어나면(특히 0건이면) 즉시 알림을 보낸다
• 필드 품질 감시. 필수 필드의 결측률·형식 오류율을 매일 집계한다. 어제까지 채워지던 필드가 갑자기 비면 구조 변경 신호다
• 샘플 대조. 수집된 데이터 일부를 주기적으로 원문과 대조한다. 자동 검사가 놓치는 의미 변화(항목 정의가 바뀐 경우 등)를 잡는 마지막 그물이다

핵심은 '오늘 이 소스에서 몇 건이 정상 수집됐는가'를 사람이 묻기 전에 시스템이 먼저 말하게 만드는 것입니다. 이 감시 장치는 수집기 본체만큼의 공수를 들일 가치가 있습니다.

03원칙 3 · 수집과 해석을 분리하라

안정적인 파이프라인은 단계가 분리되어 있습니다. 수집 단계는 원문을 가능한 그대로 저장하고, 해석(파싱·정규화) 단계가 그 원문에서 구조화된 데이터를 만듭니다. 이렇게 나누면 파싱 규칙에 오류가 발견됐을 때 저장해 둔 원문으로 과거 데이터를 다시 해석할 수 있습니다. 수집하면서 바로 해석해 원문을 버리는 구조는, 규칙 오류가 발견되는 순간 그동안의 데이터를 복구할 방법이 없습니다. 여기에 중복 제거 기준(무엇이 같은 항목인가)과 소스별 형식을 통일하는 정규화 스키마를 정의해 두면, 소스를 추가할 때마다 뒷단을 고치는 일이 사라집니다.

비정형 텍스트의 해석에 LLM을 쓰는 경우도 늘고 있습니다. 공고문처럼 서식이 제각각인 문서에서 금액·기간·자격 요건을 뽑는 데는 효과적입니다. 다만 LLM 해석 결과에도 같은 원칙이 적용됩니다. 형식 검증을 통과하지 못한 값은 버리거나 표시하고, 추출 실패를 그럴듯한 값으로 메우지 않게 설계해야 합니다.

04운영 체계 요약

정리하면, 크롤링 파이프라인의 비용은 구축이 아니라 운영에 있습니다. 견적을 비교할 때도 '만들어 드립니다'보다 '깨졌을 때 어떻게 아는지'를 물어야 합니다. 매일 확인하는 외부 데이터 소스가 있고 그것을 자동화하고 싶다면, 소스 목록과 필요한 필드를 남겨주세요. Plan AI는 2주 파일럿(PoC)으로 실제 소스에서 수집 안정성과 데이터 품질을 검증한 뒤에 본 구축을 제안합니다. 1영업일 내 검토 회신드립니다.