생성형 AI의 환각 현상 논란, '할루시네이션' 무슨 뜻?

 

최근 테슬라 최고경영자(CEO)인 일론 머스크의 인공지능(AI) 기업 xAI가 만든 AI챗봇 '그록(Grok)'이 도널드 트럼프 공화당 대선 후보 피격 사건 직후 '할루시네이션(Hallucination)' 현상을 보여 논란이 일었다.
 
미국 월스트리트저널(WSJ)에 따르면 그록은 13일 트럼프 후보 피격 사건 직후 “카멀라 해리스 부통령이 총에 맞았다”는 제목의 뉴스를 내놨다. 총격범인 토머스 매슈 크룩스의 이름도 잘못 표기했고, 크룩스가 극단적 이념 집단 소속이라는 확인되지 않은 정보를 담은 기사도 게재했다. WSJ는 “조 바이든 미국 대통령이 트럼프와 해리스를 혼동했던 사례와 관련해 일부 X(옛 트위터) 사용자들이 이를 비꼬는 것에서 비롯된 오류로 보인다”라고 분석했다.
 
※  조 바이든은 7월 11일 (현지시각) 워싱턴DC에서 가진 북대서양조약기구(NATO·나토) 계기 단독 기자회견에서 ‘해리스 부통령이 후보가 되면 트럼프를 이길 수 있을지에 대해 어떤 우려가 있냐’는 질문에 “저라면 트럼프 부통령을 부통령으로 뽑지 않을 것”이라며 “그녀가 대통령이 될 자격이 없다고 생각하냐고 묻는 거냐? 그럼 거기서부터 시작하자”고 말했다.
 
이번 이슈로 생성형 AI의 할루시네이션 논란이 다시 불거졌다. 할루시네이션이란 무엇인가. OpenAI CEO인 샘 올트만도 GPT-4 출시 이후 진행된 인터뷰에서, "새 기술이 여전히 “완벽하지 않다”고 인정하며 “사람들에게 가장 주의를 주고 싶은 건 할루시네이션”이라고 언급한 바 있다. 할루시네이션의 개념과 원인 등에 대해 알아보자.
 

AI의 환각 현상, 할루시네이션

 

 

1. 할루시네이션이란

 
AI 할루시네이션은 인공지능, 특히 자연어 처리 모델이 실제 데이터나 사실과 일치하지 않는 정보를 생성하는 현상을 말한다. 이는 AI가 입력된 데이터나 질문에 대해 신뢰할 수 없는 또는 잘못된 응답을 만들어내는 것을 의미한다. 예를 들면 존재하지 않는 사건이나 인물을 언급하는 경우, 잘못된 사실을 자신감 있게 설명하는 경우, 질문에 대한 답변이 문법적으로는 맞지만 실제 정보와 맞지 않는 경우 등이 해당된다.
 

2. 할루시네이션이 발생하는 원인은

아직까지는 AI에서 할루시네이션이 발생하는 정확한 원인이 완전히 파악되지 않았지만, 다음과 같이 추측된다고 한다.

• 데이터 편향과 불완전성: AI 모델이 학습하는 데이터셋에 포함된 편향된 정보나 불완전한 데이터로 인해 할루시네이션이 발생할 수 있다. 잘못된 정보나 비정상적인 패턴을 학습하는 것이 할루시네이션의 원인인 된다.
• 과잉 일반화:  AI가 제한된 데이터로부터 일반적인 패턴을 학습하면서, 특정 상황이나 문맥에 맞지 않는 잘못된 응답을 생성할 수 있습니다. 이는 특히 훈련 데이터가 부족하거나 다양하지 않을 때 더 두드러질 수 있다.
• 맥락 이해 부족: AI 모델이 문맥을 완벽히 이해하지 못하고 단순히 통계적 패턴을 따라 응답을 생성할 때 발생한다. 이는 복잡한 질문이나 문맥을 제대로 파악하지 못하는 경우에 주로 나타날 수 있다.
• 모델 구조의 한계: 현재의 AI 모델 구조 자체가 가진 한계 때문에 발생한다. 예를 들어, 대형 언어 모델은 확률적인 접근 방식을 사용하기 때문에 특정 정보가 없을 때 그럴듯한 답변을 생성하려는 경향이 있다.
• 훈련 과정의 문제: 모델 훈련 과정에서 잘못된 정보나 노이즈가 포함된 데이터를 사용하면, AI가 이러한 오류를 그대로 학습하게 되어 할루시네이션을 일으킬 수 있다.

 

3. 할루시네이션이 야기하는 문제

 테크, 비즈니스는 물론 일상생활에서도 생성형 AI 활용이 늘어나고 있는 만큼, 할루시네이션이 미치는 영향은 점점 커질 수 있다. 가짜뉴스와 같은 잘못된 정보가 개인이 잘못된 결정을 내리게 할 수 있음은 물론, 오정보가 전파된다면 사회적, 정치적, 윤리적 문제로 번질 수 있다. 잘못된 정보를 활용할 경우 법적 책임을 져야 하는 상황이 생길 수도 있겠다.
 
할루시네이션은 AI의 구조적인 문제이기 때문에 해결될 수 없을 것이라는 예측이 있을 정도로, 오늘날 AI 개발의 최대 난제이다. AI에 대한 사용자들의 신뢰도를 높이고, AI 기술 발전을 이루기 위해서는 할루시네이션을 해결해야할 지속적인 연구와 개선이 필요할 것으로 보인다.