- AI 답변을 업무에 쓰기 전 사실·출처·위험을 검증하는 7단계
- 1단계: 답변을 주장 단위로 분해하기
- 2단계: 각 주장에 필요한 출처 수준 정하기
조회 2 · 전체 글
대표 이미지: Grigent Guide가 이 글의 주제에 맞춰 AI로 제작한 편집 일러스트입니다. 실제 상품·행사·기관의 촬영 사진은 아닙니다.
AI 답변을 업무에 쓰기 전 사실·출처·위험을 검증하는 7단계
생성형 AI의 답변은 문장이 자연스럽고 구조가 깔끔해서 검증된 자료처럼 보이기 쉽습니다. 하지만 존재하지 않는 출처, 오래된 규정, 단위가 바뀐 수치, 사실과 의견의 혼합이 포함될 수 있습니다. 특히 보고서, 고객 안내, 정책 설명, 코드와 계약 검토에 사용할 때는 “그럴듯함”과 “검증됨”을 구분해야 합니다.
NIST의 AI 위험관리 프레임워크는 AI 위험을 식별하고 측정하며 관리하는 과정을 강조합니다. 생성형 AI 프로필은 출력의 정보 무결성, 출처와 생성 과정의 기록, 사람의 검토와 시험을 중요한 실천 항목으로 다룹니다. 이를 개인과 소규모 팀이 바로 쓸 수 있는 7단계 검증 절차로 바꾸면 다음과 같습니다.
1단계: 답변을 주장 단위로 분해하기
긴 문단 전체를 한 번에 “맞다/틀리다”로 판단하지 않습니다. 검증 가능한 주장으로 쪼갭니다.
예를 들어 “2026년부터 모든 사업자는 새 규정을 따라야 하며 위반 시 1천만 원의 과태료가 부과된다”는 문장은 최소 네 개의 주장입니다.
- 규정이 실제로 존재한다.
- 시행일이 2026년이다.
- 적용 대상이 모든 사업자다.
- 위반 시 과태료가 1천만 원이다.
표로 만들면 빠뜨리지 않습니다.
| 번호 | 주장 | 중요도 | 필요한 근거 | 확인 상태 |
|---|---|---|---|---|
| 1 | 새 규정이 존재 | 높음 | 법령·기관 공고 | 미확인 |
| 2 | 시행일 2026년 | 높음 | 부칙·시행 안내 | 미확인 |
| 3 | 모든 사업자 적용 | 높음 | 적용 대상 조항 | 미확인 |
| 4 | 과태료 1천만 원 | 높음 | 벌칙·과태료 조항 | 미확인 |
의견, 제안, 창작 표현은 사실 주장과 분리합니다. “좋은 전략이다”는 평가지만 “전환율이 30% 증가한다”는 수치 주장입니다.
2단계: 각 주장에 필요한 출처 수준 정하기
모든 출처가 같은 무게를 갖지 않습니다. 법과 정책은 법령 원문과 담당기관 공고, 제품 기능은 제조사 문서, 연구 결과는 원 논문과 데이터, 회사 수치는 공시와 공식 발표를 먼저 봅니다.
검색 결과의 요약문, AI가 제시한 인용문, 블로그 재정리는 출발점일 뿐 최종 근거가 아닙니다. 링크를 직접 열고 다음을 확인합니다.
- 실제로 존재하는 페이지인가?
- 발행 기관과 작성자가 누구인가?
- 게시일과 수정일은 언제인가?
- 현재 유효한 문서인가?
- 본문이 해당 주장을 직접 말하는가?
- 예외와 적용 범위가 생략되지 않았는가?
AI가 출처 링크를 제공했더라도 주소와 제목만 보고 신뢰하지 않습니다. 존재하지 않는 경로나 다른 내용의 페이지를 연결할 수 있습니다.
3단계: 날짜·수치·단위를 원문과 대조하기
숫자는 가장 쉽게 복사되지만 가장 큰 오류를 만들 수 있습니다.
- 퍼센트와 퍼센트포인트를 구분합니다.
- 월간 수치와 연간 수치를 구분합니다.
- 원화, 달러, 세전, 세후 등 단위를 확인합니다.
- 표본 수와 조사 대상을 확인합니다.
- 기준연도와 비교기간을 확인합니다.
- 평균, 중앙값, 누적값을 구분합니다.
간단한 계산은 직접 다시 합니다. 합계, 증감률, 환율 적용, 단가와 수량을 스프레드시트로 재계산하고 공식 원자료와 맞는지 봅니다. 이미지로 된 표는 숫자를 옮기는 과정에서 자릿수가 바뀔 수 있으므로 원본 파일을 확인합니다.
4단계: 최신성과 적용 범위를 확인하기
사실이 맞아도 지금 상황에 적용되지 않을 수 있습니다. 소프트웨어 버전, 법령 개정, 서비스 요금, 지원사업 일정, 제품 사양은 특히 변동이 큽니다.
다음 질문을 붙입니다.
- 어느 날짜 기준인가?
- 어느 국가와 지역에 적용되는가?
- 개인용과 기업용 조건이 다른가?
- 무료·유료·API 상품에 차이가 있는가?
- 예외 대상과 유예기간이 있는가?
- 이후 수정 공고나 새 버전이 나왔는가?
문서에 기준일을 표시합니다. “현재”라고만 쓰지 말고 “2026년 9월 28일 확인”처럼 기록하면 나중에 다시 검토할 시점을 알 수 있습니다.
5단계: 반대 근거와 실패 조건 찾기
AI에게 찬성 근거만 요청하면 균형 잡힌 검토가 되지 않습니다. 직접 반례와 예외를 찾습니다.
- 이 주장이 틀릴 수 있는 조건은 무엇인가?
- 다른 공식기관은 어떻게 설명하는가?
- 평균값 뒤에 숨은 편차가 있는가?
- 결과가 재현되지 않은 사례가 있는가?
- 특정 집단에 불리한 영향이 있는가?
- 잘못 적용했을 때 피해가 얼마나 큰가?
AI에게 “반대 의견도 써 달라”고 하는 것만으로는 독립 검증이 아닙니다. 같은 모델이 만든 두 답변은 같은 오류를 공유할 수 있습니다. 외부 원문과 실제 데이터, 담당자의 지식을 사용해야 합니다.
6단계: 위험도에 따라 사람의 승인 수준 정하기
오타 교정과 채용 탈락 결정은 같은 검증 절차를 쓰면 안 됩니다. 출력이 틀렸을 때 생기는 피해를 기준으로 등급을 나눕니다.
낮은 위험
내부 아이디어 목록, 문장 다듬기, 회의 안건 초안처럼 사람이 쉽게 되돌릴 수 있는 작업입니다. 작성자가 출처와 표현을 확인합니다.
중간 위험
외부 공개 블로그, 고객 안내, 견적 설명, 교육자료처럼 신뢰와 비용에 영향을 줄 수 있는 작업입니다. 원 작성자 외 한 명이 사실과 링크를 교차 검토합니다.
높은 위험
의료·법률·금융 판단, 채용·인사, 안전, 개인정보, 큰 금액의 계약과 자동 실행은 전문성과 권한을 가진 사람이 승인해야 합니다. AI 출력만으로 결정을 자동화하지 않습니다.
“사람이 검토했다”는 표시만 두지 말고 누가 어떤 항목을 확인했는지 기록합니다.
7단계: 검증 기록과 최종본을 함께 보관하기
최종 문서만 남기면 나중에 왜 그 내용을 믿었는지 알기 어렵습니다. 다음을 한 묶음으로 보관합니다.
- 사용한 AI 서비스와 모델·버전
- 질문한 날짜와 핵심 프롬프트
- 검증한 주장 목록
- 실제 확인한 원문 링크
- 수치 재계산 파일
- 제외한 주장과 이유
- 검토자와 승인일
- 다음 재검토 예정일
개인정보와 기밀이 포함된 프롬프트 원문을 무조건 보관하라는 뜻은 아닙니다. 조직의 보안·보존 정책에 따라 필요한 범위만 기록합니다.
출처가 없는 답변을 받았을 때
AI에게 출처를 다시 요구할 수 있지만, 그 결과도 검증 대상입니다. 더 안전한 방법은 핵심 명사를 뽑아 공식 사이트에서 직접 찾는 것입니다.
예시 검색식:
site:go.kr 정책명 시행일site:law.go.kr 법령명 조문site:기관도메인 기능명 공식 문서보고서 제목 filetype:pdf 발행기관
검색 결과의 제목과 요약만 인용하지 말고 본문에서 해당 문장을 찾습니다. PDF는 표지의 발행기관, 발행일, 버전과 정정 여부를 확인합니다.
보고서 문장에 검증 수준 표시하기
최종 문장 옆에 내부용 표시를 둘 수 있습니다.
확인: 1차 출처에서 직접 확인계산: 원자료로 재계산추정: 가정에 기반한 추정치의견: 작성자의 해석확인 필요: 공개 전 추가 검토 필요
공개본에서는 내부 태그를 지우더라도 각주와 기준일을 남깁니다. 추정을 사실처럼 표현하지 않습니다.
최종 체크리스트
- [ ] 답변을 검증 가능한 주장으로 나눴다.
- [ ] 각 주장에 필요한 출처 수준을 정했다.
- [ ] 링크를 직접 열어 본문과 게시일을 확인했다.
- [ ] 날짜·수치·단위를 원문과 대조했다.
- [ ] 최신성, 지역, 상품, 예외 조건을 확인했다.
- [ ] 반대 근거와 실패 조건을 찾았다.
- [ ] 위험도에 맞는 검토자가 승인했다.
- [ ] 출처, 모델, 기준일, 제외 이유를 기록했다.
공식 참고 자료
- AI Risk Management Framework — NIST
- Generative AI Profile NIST AI 600-1 — NIST
- NIST AI Resource Center
AI 답변의 검증 수준은 사용 목적과 피해 가능성에 따라 달라야 합니다. 중요한 업무일수록 독립적인 원문, 실제 계산, 책임 있는 사람의 최종 확인을 거치세요.
확인한 공식 자료
본문은 아래 공개 자료를 바탕으로 정리했습니다. 적용 전 최신 원문과 날짜를 다시 확인하세요.