서류 자동화 프로젝트에서 난이도를 결정하는 것은 서류의 내용이 아니라 상태입니다. 텍스트가 살아 있는 PDF는 값을 그대로 읽으면 되지만, 스캔본은 이미지입니다. 기울어져 있고, 해상도가 낮고, 도장이 숫자를 가리고 있기도 합니다. 그리고 실무 서류함에는 이 두 종류가 섞여서 들어옵니다. 저희가 자동화한 해운사 정산 업무도 대리점 정산서에 스캔본 PDF가 섞여 있었습니다. 이 글은 스캔 문서를 AI로 처리하면서 정확도를 지키는 설계 원칙을 정리했습니다.
가장 위험한 것은 '그럴듯하게 틀린 숫자'
스캔 문서 처리의 진짜 리스크는 읽기 실패가 아니라 오독입니다. 읽기에 실패하면 사람이 처리하면 되지만, 8을 3으로, 1을 7로 잘못 읽은 값은 겉보기에 멀쩡한 숫자라서 아무도 의심하지 않고 집계표로 흘러갑니다. 금액·날짜·수량처럼 틀리면 안 되는 값일수록 이 위험이 큽니다. 따라서 설계 목표는 '100% 읽어내기'가 아니라 '틀렸을 가능성이 있는 값을 반드시 드러내기'가 되어야 합니다.
정확도를 지키는 4겹의 장치
- 입구 분류. 파이프라인 첫 단계에서 문서를 텍스트 PDF와 스캔본으로 나누고, 스캔본은 해상도·기울기·대비를 보정하는 전처리를 거친다. 전처리 품질이 이후 모든 단계의 상한선을 정한다
- 신뢰도 표시. 스캔본에서 읽은 값에는 전사를 거쳤다는 사실과 신뢰도를 함께 기록한다. 낮은 신뢰도의 값이 아무 표시 없이 확실한 값처럼 흘러가는 것을 막는다
- 교차 검증. 읽은 값을 다른 근거와 대조한다. 합계와 개별 항목의 합이 맞는지, 같은 값이 다른 서류에도 있다면 서로 일치하는지, 값이 상식적인 범위 안에 있는지 확인한다
- 확인 필요 분류. 검증을 통과하지 못한 값은 추정으로 채우지 않고 '확인 필요'로 표시해 사람의 확인 목록으로 보낸다
이 중 효과가 가장 큰 것은 교차 검증입니다. 정산서처럼 숫자 사이에 관계가 있는 서류는 합계 검산만으로도 오독의 상당수가 걸러집니다. 두 서류를 대조하는 업무라면 구조 자체가 검증 장치가 됩니다. 해운사 사례에서 본선 레포트와 대리점 정산서의 시각을 자동 대조한 것처럼, 서로 다른 출처의 값이 일치하면 둘 다 맞을 가능성이 높고, 불일치하면 사람이 볼 항목이라는 신호가 됩니다.
처리를 포기하는 기준도 설계의 일부다
품질이 나쁜 문서를 억지로 처리하는 시스템은 신뢰를 잃습니다. 해상도가 기준 이하거나, 핵심 영역이 가려져 있거나, 전처리 후에도 신뢰도가 낮으면, 파이프라인은 처리하는 척하지 않고 '이 문서는 자동 처리를 건너뛰었다'고 명시해야 합니다. 자동화 시스템의 신뢰는 다 처리했다는 주장이 아니라, 무엇을 처리했고 무엇을 못 했는지 정확히 말해주는 데서 나옵니다. 건너뛴 문서의 비율은 그 자체로 운영 지표가 됩니다. 비율이 높다면 스캔 품질을 올리는 것, 예를 들어 거래처에 원본 PDF 송부를 요청하는 것이 모델을 고치는 것보다 효과적일 때가 많습니다.
정확도는 주장이 아니라 측정으로 증명한다
'정확도 몇 퍼센트'라는 말은 측정 방법 없이는 의미가 없습니다. 실무에서 쓰는 방법은 단순합니다. 지금까지 사람이 만들어 온 집계표가 정답지이므로, 같은 서류를 시스템에 넣어 값이 일치하는지 대조하는 것입니다. 저희도 해운사 사례에서 서로 다른 두 대리점 자료로 기존 수기 집계와 값이 일치하는지 검증한 뒤에 정식 구축으로 넘어갔습니다. 검증 없이 '잘 읽히는 것 같다'는 인상만으로 전환하면, 몇 달 뒤 발견되는 오류 한 건이 시스템 전체의 신뢰를 무너뜨립니다.
측정은 도입 후에도 계속되어야 합니다. 담당자가 '확인 필요' 항목을 처리하며 고친 값을 기록으로 남기면, 어떤 유형의 문서에서 어떤 오독이 반복되는지 보이고, 그 기록이 전처리와 검증 규칙을 개선하는 재료가 됩니다.
요약 · 문서 상태별 처리 원칙
| 문서 상태 | 처리 방식 | 필수 장치 |
|---|---|---|
| 텍스트 PDF | 값 직접 추출 | 교차 검증, 형식 검사 |
| 양호한 스캔본 | 전처리 후 추출 | 신뢰도 표시 + 교차 검증 |
| 품질 낮은 스캔본 | 자동 처리 건너뛰기 명시 | 건너뛴 사유 기록, 사람 처리 |
| 혼합 서류함 | 입구에서 자동 분류 | 상태별 처리율 모니터링 |
스캔 문서 자동화는 '전부 자동'이 아니라 '확실한 것은 자동, 불확실한 것은 표시'로 설계할 때 오래 갑니다. 지금 처리하고 있는 서류 샘플 몇 건이 있다면, 어느 수준까지 자동화할 수 있는지는 짧은 검증으로 판단할 수 있습니다. Plan AI는 2주 파일럿(PoC)으로 실제 서류의 추출 정확도를 기존 집계와 대조해 확인한 뒤에 본 구축을 제안합니다.