AI 답변 검증 방법 7가지, 그럴듯한 오류 거르는 법

AI에게 물으면 몇 초 안에 그럴듯한 답이 나온다. 문제는 말투가 자연스럽고 단정적일수록 틀린 내용을 알아채기 어렵다는 데 있다.

최근에는 중국의 한 농부가 AI의 농약 사용 조언을 다른 자료로 확인하지 않고 따랐다가 약 25에이커, 약 10만㎡ 규모의 농작물에 피해를 본 사례도 보도됐다.[6] 단순한 검색 오류가 실제 손실로 이어진 경우다.

AI를 쓰지 말자는 뜻은 아니다. 초안 작성과 자료 정리에는 매우 유용하다. 다만 AI의 답은 완성된 정답이 아니라 검토가 필요한 초안으로 보고 한 번 더 확인해야 안전하다. 아래 7가지만 습관으로 만들어도 잘못된 날짜, 존재하지 않는 출처, 부정확한 수치에 속을 가능성을 크게 줄일 수 있다.

AI 답변이 틀릴 수 있는 이유

생성형 AI는 질문에 맞는 문장을 확률적으로 구성한다. 사실을 하나씩 데이터베이스에서 꺼내 읽는 방식과는 다르다. 그래서 문법과 논리는 자연스러워도 내용은 틀릴 수 있다.

OpenAI도 언어 모델이 잘못된 정의·날짜·사실을 제시하거나 존재하지 않는 연구, 인용문, 참고문헌을 만들어낼 수 있다고 안내한다.[1] 이런 현상을 흔히 AI 환각이라고 부른다. 최신 모델에서도 환각은 완전히 사라지지 않았으며, 모델이 불확실성을 인정하는 대신 답을 추측할 때 오류가 생길 수 있다.[2]

특히 다음과 같은 답은 바로 사용하지 말고 한 번 더 확인해야 한다.

1. 먼저 답변의 용도와 위험도를 나눈다

모든 답을 같은 강도로 검증할 필요는 없다. 저녁 메뉴 아이디어와 약 복용법은 오류가 났을 때의 결과가 전혀 다르다.

다음 항목에 해당하면 검증 단계를 생략하지 말자.

• 건강, 약, 식품 안전과 관련된 내용
• 법률, 세금, 계약, 보험에 관한 판단
• 투자와 대출 등 돈이 움직이는 결정
• 전기, 기계, 농약처럼 사고 위험이 있는 작업
• 업무 보고서에 들어갈 통계와 직접 인용
• 다른 사람의 평판이나 개인정보에 관한 주장

아이디어를 얻는 데는 AI를 적극적으로 써도 된다. 하지만 행동으로 옮기거나 문서에 사실로 적을 내용이라면 원문 확인까지 마쳐야 한다. NIST도 신뢰할 수 있는 AI를 평가할 때 정확성뿐 아니라 신뢰성, 안전성, 보안성, 투명성 등을 사용 맥락에 맞춰 살펴야 한다고 설명한다.[3]

2. 출처를 요구하고 링크를 직접 연다

“출처도 알려줘”라고 묻는 것만으로 검증이 끝나지는 않는다. AI는 존재하지 않는 논문 제목이나 그럴듯한 주소를 만들 수 있다.[1]

답변을 받은 뒤 다음 순서로 확인한다.

1. 주장 바로 뒤에 출처를 붙여 달라고 요청한다.
2. 링크를 직접 열어 페이지가 실제로 존재하는지 본다.
3. 페이지 제목과 기관명이 AI가 설명한 내용과 맞는지 확인한다.
4. 원문에 해당 주장이나 수치가 실제로 적혀 있는지 검색한다.
5. 개인 블로그가 원출처를 재인용했다면 공식 자료까지 거슬러 올라간다.

출처 목록이 길다고 답이 정확한 것은 아니다. 실제로 열리고, 해당 문장을 뒷받침하며, 작성 주체가 분명한 출처가 필요하다.

3. 숫자·날짜·고유명사는 원문과 대조한다

AI 오류는 작은 부분에서 시작하는 경우가 많다. 전체 설명은 맞는데 연도가 다르거나, 비슷한 기관명을 섞거나, 단위를 잘못 옮길 수 있다.

다음 정보가 보이면 원문을 한 번 더 연다.

• 금액, 비율, 인원, 면적, 순위
• 시행일, 발표일, 마감일
• 제품명, 모델명, 약품명
• 법령명, 조항, 판례번호
• 논문 저자, 학술지, DOI
• 직접 인용문

예를 들어 “정부가 8월부터 지원한다”는 답을 받았다면 정책 이름만 검색하지 말고 담당 부처의 공고문에서 대상, 신청 기간, 예산 소진 조건을 확인해야 한다. 숫자는 계산기로 다시 산출해 단위 변환도 확인한다.

4. 다른 AI가 아니라 독립된 원출처로 교차 검증한다

같은 질문을 여러 AI에 물어보는 방법은 오류 신호를 찾는 데 도움이 된다. 답이 서로 다르면 확인이 필요하다는 뜻이다. 하지만 여러 AI가 같은 인터넷 자료를 참고했다면 똑같이 틀릴 수도 있다.

교차 검증은 다음처럼 출처의 종류를 나누는 것이 좋다.

뉴스 기사와 블로그는 내용을 이해하는 데 유용하다. 최종 판단에 필요한 수치와 조건은 가능한 한 원자료에서 확인한다.

5. AI에게 불확실성을 표시하게 한다

AI가 모든 항목에 답하도록 몰아붙이면 모르는 부분까지 채워 넣을 수 있다. 처음부터 모르면 모른다고 말하도록 조건을 붙이는 게 낫다.

아래 문장을 질문 끝에 붙여보자.

확인할 수 없는 내용은 추측해서 채우지 말고 ‘확인되지 않음’으로 표시해줘. 사실, 추정, 의견을 구분하고 각 사실에는 기준일과 출처를 붙여줘.

답변 형식도 정해두면 검토가 쉬워진다.

“정답만 말해줘”보다 “모르는 부분을 표시해줘”가 안전하다. 최신 정보가 필요한 질문에는 현재 검색이 가능한지, 답변의 기준일이 언제인지도 함께 묻는다.

6. 답변 생성과 검토를 분리한다

한 번에 완성본을 요구하기보다 초안과 검토를 나누면 오류를 찾기 쉽다. Anthropic은 같은 질문을 여러 번 실행해 답의 불일치를 찾거나, 이전 답을 다시 검토하고, 제공된 문서 안의 정보만 사용하도록 범위를 제한하는 방법을 환각 완화 전략으로 안내한다.[4]

실제로는 다음 세 단계면 충분하다.

1. 초안: 질문에 대한 답을 작성한다.
2. 감사: 초안에서 검증이 필요한 수치, 날짜, 인용, 고유명사를 추출한다.
3. 교정: 원문으로 확인된 내용만 남기고 출처와 기준일을 붙인다.

카카오클라우드도 외부 정보를 검색해 답변에 반영하는 RAG와 생성 결과를 다시 평가하는 자기 검증을 함께 설명한다.[7] 개인 사용자는 복잡한 시스템을 만들지 않아도, 검색 가능한 AI로 근거를 모은 뒤 새 대화에서 검토를 요청하는 방식으로 비슷한 절차를 만들 수 있다.

이미 AI를 업무에 활용하고 있다면 AI를 잘 다루는 Goal과 Loop 실전 사용법처럼 목표 설정과 결과 확인을 반복하는 흐름을 함께 적용해도 좋다.

7. 중요한 결정은 사람과 공식 기관이 최종 확인한다

AI가 여러 출처를 제시하고 스스로 검토했더라도 책임을 대신 지지는 않는다. 의료진의 진단, 세무사의 검토, 변호사의 법률 판단, 제조사의 안전 지침이 필요한 영역은 해당 전문가와 공식 기관이 마지막 확인자가 되어야 한다.

특히 AI가 알려준 방법으로 약을 먹거나, 농약을 살포하거나, 전기 설비를 변경하거나, 계약서에 서명하는 행동은 답변만 보고 실행하지 않는다. 오류를 되돌리기 어렵거나 손해가 큰 일이라면 검증 비용을 아끼면 안 된다.

AI 자동화 도구를 웹사이트 운영에 연결해 사용한다면 정보 정확도뿐 아니라 권한과 보안도 살펴야 한다. 관련 설정은 AI 시대 워드프레스 보안 설정 9가지에서 확인할 수 있다.

3분 안에 끝내는 AI 답변 검증 순서

시간이 없을 때는 아래 순서만이라도 지키자.

• [ ] 답변 기준일이 적혀 있는가?
• [ ] 핵심 주장마다 출처가 있는가?
• [ ] 링크를 직접 열어봤는가?
• [ ] 숫자와 날짜가 원문과 일치하는가?
• [ ] 공식 기관이나 원자료로 한 번 더 확인했는가?
• [ ] 추정과 사실이 구분돼 있는가?
• [ ] 틀렸을 때 피해가 큰 분야라면 전문가에게 확인했는가?

하나라도 아니오라면 그 답은 참고용으로만 사용한다.

바로 복사해 쓰는 검증 프롬프트

출처 포함 답변 요청

이 질문에 답할 때 확인 가능한 사실만 사용해줘.
핵심 주장마다 실제로 열리는 출처 URL과 기준일을 붙이고,
확인할 수 없는 내용은 추측하지 말고 '확인되지 않음'으로 표시해줘.
사실, 추정, 의견을 구분해서 표로 정리해줘.

받은 답변 감사 요청

아래 답변을 사실 검증 관점에서 감사해줘.
숫자, 날짜, 고유명사, 인용문, 법률·정책 내용을 각각 추출하고
1) 원문 확인 완료
2) 출처는 있으나 근거 부족
3) 확인 불가
로 분류해줘. 답변 내용을 그대로 믿지 말고 실제 원문과 대조해줘.

제공한 자료 안에서만 답하게 하기

내가 제공한 문서 안의 정보만 사용해 답해줘.
문서에 없는 내용은 일반 지식으로 보충하지 말고 '자료에 없음'으로 표시해줘.
각 답변 뒤에는 근거가 된 문장이나 표의 위치를 적어줘.

자주 묻는 질문

출처가 있으면 AI 답변을 믿어도 될까?

출처가 있다는 사실만으로는 부족하다. 링크가 실제로 열리는지, 원문이 해당 주장을 뒷받침하는지, 자료가 최신인지 확인해야 한다.

같은 질문을 여러 AI에 물으면 검증이 될까?

서로 다른 답이 나오면 오류 가능성을 발견하는 데 도움이 된다. 다만 여러 AI가 같은 잘못된 자료를 참고할 수 있으므로 공식 원자료 확인을 대신할 수는 없다.

검색 기능이 있는 AI는 환각이 없을까?

검색 기능은 최신 자료와 출처를 찾는 데 유리하지만, 자료 선택이나 요약 과정에서 오류가 생길 수 있다. 검색 결과의 링크와 원문을 직접 확인해야 한다.[1]

AI에게 스스로 검증하라고 하면 충분할까?

오류를 줄이는 데는 도움이 되지만 완전한 보장은 아니다. 중요한 정보는 별도의 출처와 사람의 검토를 거친다.

AI는 답을 만드는 도구이고, 확인은 사용자의 몫이다

AI를 잘 쓰는 사람은 가장 긴 답을 받는 사람이 아니다. 필요한 초안을 빠르게 얻고, 어디를 의심해야 하는지 아는 사람이다.

앞으로 AI에게 중요한 질문을 할 때는 세 가지만 기억하자. 출처를 요구하고, 원문을 열고, 틀렸을 때의 피해를 생각한다. 이 과정만 더해도 AI는 위험한 정답 기계가 아니라 훨씬 유용한 작업 도구가 된다.

참고 자료

[1] Does ChatGPT tell the truth?

[2] Why language models hallucinate

[3] AI measurement and evaluation | NIST

[4] Reduce hallucinations – Claude Platform Docs

[6] AI 말만 믿고 농약 피해 사례 – 연합뉴스TV/다음뉴스

[7] 더 정확한 AI를 위한 RAG와 자기 검증 – 카카오클라우드