AI 답변은 틀렸을 때도 문장이 자연스럽습니다. NIST는 생성형 AI가 자신 있게 잘못된 내용을 제시하는 현상을 위험 요인 중 하나로 다룹니다. 따라서 “다시 확인해줘”라고 같은 모델에 묻는 것만으로 검증을 끝내면 안 됩니다.
1. 주장과 의견을 분리합니다
날짜, 수치, 규정, 제품 기능처럼 참·거짓을 확인할 수 있는 문장에 표시합니다. “효과적이다” 같은 평가는 기준과 근거가 무엇인지 묻습니다.
2. 원자료가 있는 문장은 원자료로 돌아갑니다
요약이 맞는지 요약문끼리 비교하지 않습니다. 회의록이면 녹취, 보고서면 원표, 정책이면 공식 원문을 확인합니다.
3. 고유명사와 링크를 직접 엽니다
기관명, 사람 이름, 보고서 제목, 논문과 URL은 존재 여부를 확인합니다. 제목이 비슷한 다른 문서를 근거로 붙이는 오류가 흔합니다.
4. 숫자와 단위를 다시 계산합니다
합계, 평균, 증감률, 백분율 포인트와 통화 단위를 별도 계산기로 재현합니다. 분모와 기간이 같은지도 확인합니다.
5. 날짜와 적용 범위를 확인합니다
과거 정책이나 다른 국가의 조건을 현재 한국 기준처럼 설명하지 않았는지 봅니다. 가격과 기능은 확인일을 기록합니다.
6. 반례를 찾습니다
“이 결론이 틀릴 수 있는 조건 세 가지를 제시해”라고 요청한 뒤, 실제 업무 조건에 해당하는지 사람이 판단합니다. 반례 요청은 정답 판정이 아니라 검토 범위를 넓히는 도구입니다.
7. 최종 독자의 위험을 점검합니다
틀린 내용을 사용했을 때 금전, 법적 책임, 개인정보, 평판에 영향이 큰가요? 위험이 크면 해당 분야 담당자나 전문가의 검토를 받습니다.
아래 초안에서 외부 근거로 확인해야 하는 문장을 표로 분리해줘. 열은 ‘주장 / 필요한 근거 / 확인할 원자료 / 오류 시 영향’으로 구성해. 너 스스로 사실이라고 판정하지 말고 검증 항목만 추출해.
합성 예제
AI가 “새 요금제는 모든 계정에 즉시 적용된다”고 요약했다고 가정합니다. 실제 공지에서 적용 국가, 기존 고객의 전환일과 예외 조항을 각각 확인하고, 공지에 없는 범위는 확인 필요로 남깁니다.
검증 완료의 기준
모든 문장이 확실해지는 것이 아니라, 불확실한 부분이 표시되고 책임자가 알 수 있는 상태가 검증 완료에 가깝습니다. 중요도가 낮은 표현과 반드시 맞아야 하는 수치를 같은 강도로 검토하지 마세요.