생성형 AI는 사실과 다르거나 주어진 자료에 근거가 없는 내용을 그럴듯하게 제시할 수 있습니다. 이런 오류를 환각(hallucination)이라고 부릅니다.
보고서와 법원 제출 서면에서도 존재하지 않는 문헌, 잘못된 인용, 출처와 맞지 않는 수치가 발견됐습니다. 다만 인용이 틀렸다는 사실과 그 오류를 AI가 만들었다는 판단은 구분해야 합니다.
출처가 실제로 있는지, 원문이 해당 주장을 뒷받침하는지 확인해야 합니다. 검색 결과나 AI 탐지 점수만으로 진위를 확정하지 않습니다.
| 유형 | 무슨 일이 벌어지나 | 실제 사례 | 위험 |
|---|---|---|---|
| 가짜 출처 | 존재하지 않는 보고서·논문·판례를 진짜처럼 인용합니다. | 없는 맥킨지 보고서를 출처로 단 EY 보고서 | 신뢰 붕괴 |
| 잘못된 출처 정보 | 자료는 존재하지만 제목·저자 등 인용 정보를 잘못 적습니다. | KPMG 보고서에서 지적된 제목·저자 정보 오류 | 검증 어려움 |
| 사실·인용 오류 | 통계·발언·날짜를 지어내거나 출처와 다르게 제시합니다. | 호주 딜로이트 보고서의 판결문에 없는 인용문 | 의사결정 오류 |
| 근거 없는 주장 | 제시한 출처가 실제로 뒷받침하지 않는 내용을 사실처럼 씁니다. | KPMG 조사에서 지적된 주장과 출처의 불일치 | 판단 왜곡 |
사례를 읽을 때는 어떤 오류가 있었는지, AI 사용이 어디까지 확인됐는지, 어떤 조치가 공개됐는지 구분합니다. 조사 업체의 분류, 언론 보도, 당사자 입장, 법원 결정은 증거의 성격이 다릅니다.
KPMG AI 보고서의 출처 오류
2025년 10월 발간 · 2026년 6월 GPTZero 조사
GPTZero는 인용 45건 중 5건은 실제 출처와 일치하고 28건은 제목·저자 등 일부 정보가 잘못됐으며 12건은 출처를 특정하기 어렵다고 설명했습니다. 조사팀은 관련 주장 중 약 절반을 허위이거나 출처를 잘못 연결한 것으로 추정했습니다.
해석. 조사팀은 보고서의 모든 주장을 전수 검증하지 않았다고 밝혔습니다. 이 조사만으로 보고서 전체 사실의 절반이 허위라고 판단할 수는 없습니다. 2026년 6월에는 KPMG가 보고서를 비공개로 전환했다는 보도가 나왔습니다.
EY 보고서의 참고문헌 27건 중 16건 지적
Points of Attack · EY 캐나다 · 2026년 5월 조사
GPTZero는 로열티 프로그램의 보안·사기를 다룬 보고서의 참고문헌 27건 중 16건을 환각으로 분류했습니다. 출처를 특정하지 못한 링크, 존재하지 않는 맥킨지 보고서 제목, 서로 맞지 않는 시장 규모 설명을 지적했습니다.
결과. EY 캐나다가 보고서를 웹사이트에서 내렸다는 보도가 나왔습니다. GPTZero가 제시한 AI 탐지 점수 72%는 본문의 72%를 AI가 작성했다는 확정 증거가 아닙니다. 작성 경위와 인용 오류는 각각 확인해야 합니다.
한국 법원, 허위 법령·판례 인용 대응방안 발표
법원행정처 · 2026년 3월 31일
법원행정처는 AI를 이용한 허위 주장·증거 제출에 대응하는 TF의 검토 결과를 공개했습니다. 허위 인용이 있는 서면의 진술 제한, 판결문에 허위 사실 명시, 소송비용 부담, 변호사 징계 의뢰 등의 대응방안을 정리했습니다.
구분. 실제 적용 여부는 법적 요건과 개별 사건의 사정에 따라 판단합니다. 모든 오인용에 자동으로 제재가 부과된다는 뜻은 아닙니다. 사법정보공개포털에는 2026년 2월 20일 허위 사건번호 확인 기능이 추가됐습니다. 사건번호가 존재하더라도 판결 내용이 인용 취지와 일치하는지는 별도로 확인해야 합니다.
딜로이트의 정부 보고서 인용 오류
캐나다 보건인력 보고서 · 호주 정부 보고서
캐나다 뉴펀들랜드 래브라도주에 제출한 약 160만 캐나다달러 규모의 526쪽 보건인력 보고서에서 존재하지 않는 연구 인용이 지적됐습니다. 딜로이트는 일부 인용에 AI를 활용했으며 인용을 수정해도 보고서의 결론은 바뀌지 않는다는 입장을 밝혔습니다.
캐나다 경과. The Independent는 2026년 3월 CPANL이 조사에 착수했다고 보도했습니다. 주총리가 재발 방지 지침 마련을 지시했다는 사실도 전했습니다. 조사 착수는 면허 정지나 징계 확정을 뜻하지 않습니다.
호주 사례. 약 44만 호주달러의 보고서에서도 가짜 연구 인용과 판결문에 없는 인용문이 발견됐습니다. 호주 고용노동관계부는 2025년 10월 딜로이트가 마지막 분할 대금을 반환하기로 합의했다고 밝혔습니다. 수정판에는 Azure OpenAI를 사용했다고 명시했습니다.
전문가 진술서에 존재하지 않는 논문 인용
미네소타 연방법원 · Kohls v. Ellison
법원 명령에 따르면 스탠퍼드대 Jeff Hancock 교수는 GPT-4o를 활용해 진술서를 작성하는 과정에서 존재하지 않는 논문 2건과 다른 논문의 잘못된 저자 정보를 포함했고 이를 검증하지 않았습니다.
결과. 법원은 2025년 1월 10일 Hancock의 진술서를 배제하고 수정 진술서 제출 요청도 거부했습니다. 법원은 해당 진술서를 증거로 신뢰할 수 있는지 판단했습니다. 주정부의 모든 증거를 배제한 것은 아닙니다.
출처법원 명령 원문
에어캐나다 챗봇의 잘못된 할인 안내
브리티시컬럼비아 민사해결심판소 · Moffatt v. Air Canada
챗봇은 항공권 발급 후 90일 이내에 사별 할인을 소급 신청할 수 있다고 안내했습니다. 실제 규정은 여행 후 소급 환불을 허용하지 않았습니다. 심판소는 부정확하게 안내한 항공사의 책임을 인정했습니다.
결과. 2024년 2월 결정은 승객에게 요금 차액과 이자·절차 비용을 지급하도록 했습니다. 이 사건에서 확인된 것은 챗봇의 잘못된 안내와 회사의 책임입니다. 공개 결정만으로 챗봇이 어떤 생성형 모델을 사용했는지나 기술적 오류 원인을 확정할 수는 없습니다.
ChatGPT가 만든 가짜 판례를 소송 서면에 인용
뉴욕 남부연방지방법원 · Mata v. Avianca
법원은 ChatGPT가 만든 존재하지 않는 판례 6건이 서면에 인용됐고 존재 여부가 문제 된 뒤에도 변호사들이 가짜 판결문을 제출한 경위를 확인했습니다. AI를 사용했다는 이유만으로 제재한 사건은 아닙니다.
결과. 2023년 6월 22일 법원은 변호사 2명과 소속 로펌에 총 5,000미국달러의 연대 제재금을 부과했습니다. 의뢰인과 가짜 판결문의 작성자로 기재된 판사들에게 제재 명령과 관련 자료를 보내도록 했습니다.
출처제재 명령 원문
다음 네 가지는 자료를 바탕으로 작성·검토하는 작업에 적용합니다. 원문의 권고를 네 단계로 묶었습니다.
확인한 원문을 제공하고 그 자료만 사용하도록 지시합니다. 모델의 일반 지식으로 빈 내용을 채우지 않게 합니다.
관련 문장을 그대로 추출한 뒤 분석하게 합니다. 가이드는 특히 긴 문서에서 이 순서를 권합니다. 출처 링크만 붙이는 것과 다릅니다.
각 주장을 뒷받침하는 인용문을 연결하고, 근거를 찾지 못한 주장은 삭제하게 합니다. 사람이 숫자·인용·문맥을 원문과 대조합니다.
정보가 부족하면 모른다고 답하도록 명시합니다. 근거 없는 답을 요구하지 않고, 추가로 필요한 자료를 확인합니다.
첨부 자료로 요청한 작업을 수행해 줘. 1. 첨부 자료만 사용하고, 일반 지식으로 빈 내용을 채우지 마. 2. 답변 전에 관련 원문을 그대로 인용하고 번호와 위치를 붙여 줘. 3. 작성한 답변의 각 주장에 인용 번호를 연결하고 원문과 대조해. 근거 없는 주장은 삭제해 줘. 첨부한 초안도 같은 방식으로 검토해 줘. 4. 자료가 부족하면 답변을 유보하고 무엇이 더 필요한지 적어 줘.
이 방법들도 환각을 없애지는 못합니다. 중요한 정보는 직접 검증합니다. 제공한 자료 자체의 정확성과 최신성도 별도로 확인합니다.
개인정보와 업무 자료의 취급 기준은 AI 협업 보안 가이드에서 확인합니다.