LLM 도입을 주저하게 만드는 가장 큰 이유는 환각입니다. 모르는 것을 모른다고 하지 않고 그럴듯하게 지어내는 성질입니다. 분명히 말해두면, 이 성질은 프롬프트에 '모르면 모른다고 답해'라고 쓴다고 사라지지 않습니다. 도움은 되지만 보장은 아닙니다. 환각은 모델의 결함이라기보다 동작 방식의 본질에 가깝기 때문에, 해법은 모델을 고치는 것이 아니라 시스템으로 감싸는 것입니다. 이 글은 저희가 실무에서 쓰는 가드레일 설계를 정리했습니다.
출발점 · 답의 근거를 시스템이 통제한다
첫 번째 가드레일은 LLM이 자기 기억으로 답하지 못하게 만드는 것입니다. 답변에 쓸 근거(사내 문서, DB 조회 결과, API 응답)를 시스템이 검색해서 건네주고, 그 근거 안에서만 답하게 제한합니다. 여기서 중요한 것은 근거가 부실할 때의 동작입니다. 검색 결과의 관련도가 임계값보다 낮으면 답변을 생성하지 않고 '해당 내용을 찾지 못했다'는 정해진 응답으로 빠지게 설계합니다. 근거가 약한데도 일단 생성부터 시키는 구조가 환각의 주 출입구입니다. 저희가 병원 연구 지원 챗봇을 만들 때도 이 구조를 썼습니다. 논문과 내부 자료에서 찾은 근거로만 답하고, 답의 출처를 함께 표시합니다.
실무에서 작동하는 가드레일 5겹
- 근거 제한. 시스템이 제공한 문서·데이터 안에서만 답하게 하고, 근거 관련도가 낮으면 생성 자체를 막는다
- 출처 표시. 모든 답에 어느 문서 어느 부분을 근거로 했는지 붙인다. 사용자가 검증할 수 있고, 출처를 못 다는 답은 그 자체로 의심 신호가 된다
- 모른다는 경로. '찾지 못했다'는 응답을 실패가 아니라 정상 동작으로 설계한다. 이 경로가 없는 시스템은 모든 질문에 답을 만들어낸다
- 구조화 출력 검증. 날짜·금액·코드처럼 형식이 있는 값은 자유 문장이 아니라 구조화된 형식으로 받고, 형식·범위·실존 여부를 코드로 검증해 통과한 값만 쓴다
- 에스컬레이션. 검증에 걸리거나 확신이 낮은 건은 사람에게 넘긴다. 자동 처리율을 조금 포기하고 신뢰를 지키는 교환이다
다섯 겹이 과해 보일 수 있지만, 각 층은 서로 다른 실패를 막습니다. 근거 제한은 지어낸 사실을, 출력 검증은 형식이 그럴듯한 오류 값을, 에스컬레이션은 나머지 전부를 받아냅니다. 저희가 구축한 D2C 브랜드 CS 자동화가 문의의 78%를 자동 응답하고 나머지를 상담원에게 넘기는 것도 이 구조입니다. 78%라는 숫자는 '전부 자동으로 답하되 일부는 틀리는' 시스템이 아니라, '확실한 것만 자동으로 답하는' 시스템을 선택한 결과입니다.
요약과 추출을 분리하라
환각 사고의 상당수는 요약문 안에서 일어납니다. 문서를 요약하다가 마감일이나 금액 같은 핵심 값이 미묘하게 잘못 옮겨지는 경우입니다. 방지책은 역할 분리입니다. 핵심 필드는 요약에 맡기지 않고 원문에서 그대로 추출해 별도 항목으로 표시하고, 요약문은 내용 파악용으로만 씁니다. 추출에 실패한 필드는 추정값으로 채우지 않고 '확인 필요'로 표시합니다. 이 원칙은 챗봇이든 문서 파이프라인이든 동일하게 적용됩니다.
가드레일이 작동하는지 어떻게 아는가
가드레일은 만들었다는 사실이 아니라 측정으로 증명됩니다. 실무 방법은 평가셋입니다. 사용자가 실제로 할 질문과 이상적인 답을 쌍으로 만들되, 일부러 '답이 존재하지 않는 질문'을 섞습니다. 좋은 시스템은 답이 있는 질문에 정확히 답하고, 답이 없는 질문에는 모른다고 해야 합니다. 후자를 측정하지 않으면 '모든 질문에 자신 있게 답하는' 시스템이 좋아 보이는 착시에 빠집니다. 프롬프트나 검색 로직을 고칠 때마다 이 평가셋을 다시 돌려, 한쪽을 고치다 다른 쪽이 무너지지 않았는지 확인합니다.
운영 단계에서는 두 가지 지표를 추적합니다. 모른다고 답한 비율과, 사람에게 넘어간 건의 처리 결과입니다. 모른다는 답이 지나치게 많으면 검색 품질이나 문서 정비의 문제이고, 자동 답변에서 오류가 발견되면 가드레일의 구멍입니다. 두 지표가 있어야 개선이 감이 아니라 데이터로 굴러갑니다.
요약 · 실패 유형별 가드레일
| 실패 유형 | 막는 장치 | 확인 방법 |
|---|---|---|
| 없는 사실을 지어냄 | 근거 제한 + 관련도 임계값 | 답 없는 질문 평가셋 |
| 핵심 값이 잘못 옮겨짐 | 추출·요약 분리 + 형식 검증 | 원문 대조 |
| 출처 불명의 답 | 출처 표시 의무화 | 출처 누락률 측정 |
| 애매한 건의 오판 | 확신 낮으면 에스컬레이션 | 이관 건 처리 결과 리뷰 |
정리하면, 환각 대책의 핵심은 더 좋은 프롬프트가 아니라 지어낼 기회 자체를 줄이는 구조입니다. 그리고 그 구조는 자동 처리율 몇 퍼센트를 신뢰와 교환하는 의사결정을 포함합니다. Plan AI는 이 가드레일 설계를 시스템 구축의 기본값으로 두고, 2주 파일럿(PoC)에서 평가셋으로 검증한 결과를 숫자로 보고합니다. 도입을 검토 중인 업무가 있다면 남겨주세요. 1영업일 내 검토 회신드립니다.