할루시네이션이란?

할루시네이션은 LLM이 사실과 다르거나 출처가 없는 내용을 그럴듯하고 자신감 있게 만들어내는 현상으로, 표현이 매끄러워 오류를 알아차리기 어렵다는 점이 가장 위험합니다.
크게 실제 사실과 어긋나는 사실성(factuality) 환각과 주어진 입력·맥락·지시에서 벗어나는 충실성(faithfulness) 환각으로 나뉩니다.
원인은 데이터(오정보·지식 경계), 학습(정렬·사람 피드백의 부작용), 추론(디코딩·과신) 단계에 걸쳐 있으며, OpenAI 연구는 정답만 보상하는 평가 방식이 모델의 '추측'을 부추긴다고 지적합니다.
완화 기법으로는 외부 근거에 답을 묶는 RAG(검색 증강 생성)·그라운딩, 디코딩 개선, 불확실성 표현 유도가 있으나, RAG도 환각을 완전히 제거하지는 못합니다.
구글 AI 오버뷰의 '피자에 풀칠' 사례처럼 생성형 검색의 환각은 브랜드 신뢰와 직결되며, 정확하고 인용 가능한 콘텐츠는 GEO 관점에서 핵심 방어선이 됩니다.

할루시네이션이란

할루시네이션(hallucination, 환각)은 대규모 언어모델이 학습된 사실이나 제공된 근거와 무관하게, 거짓이거나 검증 불가능한 내용을 그럴듯하고 자신감 있는 문장으로 생성하는 현상을 가리킵니다. 모델은 다음에 올 단어를 확률적으로 예측하도록 설계되어 있어, 정답을 '아는' 것이 아니라 '가장 그럴듯한 문장'을 만들어냅니다. 그 결과 존재하지 않는 논문·판례·인물, 잘못된 날짜와 수치, 왜곡된 인용이 자연스러운 문체로 출력되며, 표현이 매끄럽기 때문에 사용자가 오류를 알아차리기 어렵습니다.

이 용어는 본래 자연어 생성 연구에서 쓰였고, Ji 등(2023)의 서베이는 환각을 입력 내용과 모순되는 내재적(intrinsic) 환각과 입력으로 검증할 수 없는 외재적(extrinsic) 환각으로 구분했습니다. LLM 시대에 들어 Huang 등(2023, arXiv:2311.05232)은 이를 더 정교하게 재정의했습니다.

할루시네이션의 유형

Huang 등(2023)의 분류 체계는 환각을 두 축으로 나눕니다. 하나는 현실 세계의 사실과 어긋나는지, 다른 하나는 사용자가 준 입력·맥락에 충실한지입니다.

구분	정의	세부 유형 / 예
사실성 환각 (Factuality)	생성된 내용이 검증 가능한 실제 사실과 어긋남	사실 모순(전화기 발명을 벨이 아닌 에디슨에 귀속), 사실 날조(존재하지 않는 논문·통계 생성)
충실성 환각 (Faithfulness)	주어진 입력·맥락·지시에서 벗어나거나 자체 모순됨	지시 불일치(요청과 다른 답), 맥락 불일치(제공 문서와 어긋남), 논리 불일치(추론 과정의 내부 모순)

사실성 환각은 다시 실재하는 대상을 잘못 서술하는 사실 모순(factual contradiction)과, 검증 자체가 불가능한 내용을 지어내는 사실 날조(factual fabrication)로 나뉩니다. 충실성 환각은 사용자의 지시를 어기는 경우, 제공된 컨텍스트와 충돌하는 경우, 추론 단계에서 논리적으로 모순되는 경우를 포함합니다. RAG처럼 외부 문서를 근거로 답하는 환경에서는 특히 맥락 충실성이 중요해집니다.

왜 발생하는가: 원인

Huang 등(2023)은 환각의 원인을 모델 생애주기의 세 단계로 정리합니다.

데이터 단계 — 학습 코퍼스에 섞인 오정보·편향, 모델의 지식 경계(학습 시점 이후의 사실은 알 수 없음), 부실한 정렬용 데이터가 잘못된 지식을 심습니다.
학습 단계 — 사전학습의 구조적 한계, 지도 미세조정(SFT)의 정렬 불일치, 사람 피드백 기반 강화학습(RLHF)에서 비롯되는 아첨(sycophancy) 경향이 영향을 줍니다.
추론 단계 — 불완전한 디코딩, 과신(over-confidence), 소프트맥스 병목, 추론 실패가 출력 단계에서 환각을 유발합니다.

2025년 9월 OpenAI 연구진(Kalai, Nachum, Vempala, Zhang, arXiv:2509.04664)은 한층 근본적인 통계적 설명을 제시했습니다. 핵심 주장은 두 가지입니다. 첫째, 사전학습 단계에서 환각은 통계적으로 불가피한 오류입니다. 학습 데이터에 단 한 번만 등장하는 '희귀 사실'의 비율이 20%라면, 모델은 그런 질문의 최소 20%에서 환각을 일으킬 것으로 추정됩니다. 둘째, 환각이 사라지지 않는 이유는 대다수 평가 벤치마크가 '모른다'는 답에 0점을 주고 정답에만 점수를 주기 때문입니다. 이런 채점 방식에서는 불확실해도 '추측'하는 편이 기대 점수가 높아, 모델이 자신 있게 틀린 답을 내도록 학습됩니다. 연구진은 MMLU-Pro·GPQA·SWE-bench 등 주요 벤치마크가 불확실성 표현에 불이익을 준다고 분석했습니다.

완화 전략

환각은 완전히 제거하기 어렵지만, 여러 기법으로 빈도와 영향을 크게 줄일 수 있습니다.

RAG(검색 증강 생성)·그라운딩 — 답변을 외부 지식베이스에서 검색한 문서에 묶어, 모델이 알려진 근거를 인용·요약하도록 제약합니다. 출처 추적성도 함께 제공됩니다. 다만 RAG는 검색이 잘못되거나 모델이 검색 결과를 무시하면 여전히 환각이 발생하므로 만능 해법은 아닙니다.
데이터 정제·모델 편집 — 학습 데이터의 오정보를 거르고, 잘못된 사실을 직접 수정합니다.
디코딩 개선 — 사실성·충실성을 높이는 방향의 디코딩 전략을 적용합니다.
불확실성 표현 유도·평가 개편 — OpenAI 연구진은 새 환각 벤치마크를 만들기보다, 기존 벤치마크 채점에 '오답에 감점, 모른다에는 0점'처럼 명시적 신뢰도 임계값을 도입해 '모른다'가 합리적 선택이 되도록 인센티브를 재설계하자고 제안합니다.

실제 사례와 근거

할루시네이션은 학술적 개념을 넘어 실제 피해로 이어졌습니다.

Mata v. Avianca(2023) — 미국 뉴욕 남부지방법원에서 변호사들이 ChatGPT가 지어낸 가짜 판례를 인용한 준비서면을 제출했습니다. 환각된 판례에는 판사 이름·사건번호·인용문까지 포함됐고, 가짜 판례가 또 다른 가짜 판례를 인용하는 가상의 선례망이 형성됐습니다. Castel 판사는 연방민사소송규칙 11조 위반으로 5,000달러의 제재를 부과했습니다.
구글 AI 오버뷰(2024) — 2024년 5월 미국에서 출시된 구글 AI 오버뷰는 '피자에 풀을 바르라', '하루에 돌을 한 개씩 먹어라'라는 답을 내놓아 화제가 됐습니다(풍자 매체 The Onion의 글을 근거로 잘못 끌어옴). 순다르 피차이 CEO는 환각을 '여전히 풀리지 않은 문제이자 어떤 면에서는 내재적 특성'이라고 표현했습니다.
날짜·신원 날조 — OpenAI 연구(arXiv:2509.04664)에서 DeepSeek-V3 모델은 한 저자의 생일을 묻자 '확실할 때만 답하라'는 지시에도 불구하고 서로 다른 잘못된 날짜 세 개를 내놨고, 여러 모델이 동일 인물의 박사학위 논문 제목·연도·대학을 제각각 지어냈습니다.

SEO·GEO 관점의 시사점

생성형 검색(GEO) 환경에서 할루시네이션은 두 방향으로 작동합니다. 첫째, AI가 여러분의 브랜드를 잘못 설명할 수 있습니다. 근거가 불충분하면 AI 검색엔진이 제품·가격·사실관계를 왜곡해 답변하고, 이는 브랜드 신뢰 훼손으로 직결됩니다. 둘째, AI 오버뷰·ChatGPT·Perplexity 같은 생성형 검색은 답변을 만들 때 신뢰할 수 있고 명확한 출처를 우선 인용하려는 경향이 있어, 환각을 줄이려는 모델의 작동 방식 자체가 콘텐츠 전략의 기회가 됩니다.

실무적으로는 다음을 권장합니다.

핵심 사실(회사명·설립연도·제품 사양·가격)을 페이지에 명시적이고 일관되게 기술해 AI가 추측할 여지를 줄입니다.
구조화 데이터(스키마 마크업)와 명확한 정의·통계·인용으로 콘텐츠의 검증 가능성을 높입니다. 이는 AI가 근거로 삼기 좋은 형태입니다.
질문에 대한 즉답형 단락을 제공해, 모델이 빈틈을 자체 생성한 내용으로 메우지 않도록 합니다.
자사 브랜드가 AI 답변에서 어떻게 서술되는지 주기적으로 점검하고, 잘못된 정보를 바로잡을 신뢰 가능한 출처(공식 페이지·문서)를 정비합니다.