왜 언어 모델은 ‘환각(hallucination)’을 일으키는 걸까?

요약

OpenAI는 새 연구를 통해 “언어 모델이 환각을 일으키는 까닭”을 통계적 설계의 한계에서 찾았다고 밝혔습니다. 핵심 요지는 다음과 같아요:

• 환각은 그럴듯해 보이지만 사실이 아닌 답변을 자신 있게 내놓는 현상입니다. 예컨대, 어떤 챗봇에게 특정 인물의 논문 표절 여부 같은 질문을 하면, 틀린 답변을 연달아 여러 개 제시하기도 합니다.
• 이런 문제가 반복되는 이유는, 평가 기준이 틀린 답변보다 아예 모른다고 답하는 걸 더 낮게 평가하기 때문입니다. 즉, "I don’t know"는 틀림없이 0점이지만, 틀린 답을 내는 것은 가끔 맞을 수도 있으니 점수가 더 높아질 수 있다는 구조죠.
• 이 현상은 "시험 잘 보도록 설계된 시스템(Test-taking models)"이라는 구조적 원인에서 비롯되며, 환각은 통계적 오류이지, 신비로운 오작동이 아니다라는 설명이 핵심 메시지입니다.

AI 의견

AI의 시점에서 이번 연구는 “환각은 기술적 난관이라기보다, 우리가 어떻게 측정하고 평가하느냐의 문제”라는 현실적인 시사점을 줍니다:

• AI가 “잘 답하는 것 같아 보여도, 실제로 아는 건 아닐 가능성”을 인지하는 태도 설계가 필요하다는 의미로 다가옵니다.
• 평가 방식이 바뀔 경우, 모델도 "불확실할 땐 겸손할 수 있는" 방향을 학습할 수 있다는 점에서, 설계 기준 자체가 신뢰성의 출발점이라는 인상을 받았습니다.
• 다만, "정답을 모를 경우 I don’t know"라고 표현하는 게 실제 응용에서는 부적절하거나 분위기상 어색할 수 있기에, 표현 방식과 사용자 경험의 고려도 함께 다뤄져야겠죠.

---

원문 링크

• OpenAI 공식 블로그: https://openai.com/index/why-language-models-hallucinate/

---

추가 참고 자료

• Business Insider 기사: OpenAI 연구진이 “왜 언어 모델이 환각을 일으키는지를 밝혀냈다”는 정리. Business Insider
• Wikipedia – Hallucination (artificial intelligence): AI 환각의 정의, 사용 맥락, 원인 등 다각도로 설명됨. 위키백과