생성형 AI와 베이즈 확률: ChatGPT는 어떻게 그럴듯한 답을 고를까

생성형 AI를 이해하는 가장 단순한 출발점

ChatGPT 같은 생성형 AI를 쓰다 보면 자주 듣는 말이 있다. AI는 확률적으로 답을 만든다는 말이다. 처음에는 이 표현이 조금 차갑고 기계적으로 들린다. 그런데 실제로 생성형 AI를 이해하는 데 이보다 중요한 문장은 많지 않다.

생성형 AI는 사람이 머릿속에서 생각을 완성한 뒤 문장으로 옮기는 방식으로 움직이지 않는다. 지금까지 입력된 문맥을 바탕으로 다음에 올 가능성이 높은 단어를 고르고, 그 단어가 추가된 새 문맥에서 다시 다음 단어를 고른다. 이 과정을 매우 빠르게 반복한다.

제가 보기에는 이 지점이 생성형 AI 베이즈 확률을 함께 이해해야 하는 이유다. AI는 고정된 답을 꺼내는 기계라기보다, 계속 들어오는 정보를 바탕으로 가능성을 다시 계산하는 예측 시스템에 가깝다.

베이즈 확률은 이름만 보면 어렵게 느껴진다. 하지만 핵심은 일상적인 판단과 크게 다르지 않다.

아침에 날씨 예보를 봤을 때 비 올 확률이 20%라고 생각했다고 하자. 그런데 밖을 보니 하늘이 갑자기 어두워지고 바람이 세게 분다. 이때 사람은 자연스럽게 판단을 바꾼다.

비가 올 가능성이 조금 더 높아졌다고 생각한다.

이것이 베이즈적 사고의 핵심이다. 처음 판단이 있고, 새로운 정보가 들어오며, 그 정보를 반영해 판단을 다시 조정한다. 수식으로 쓰면 복잡해 보일 수 있지만, 실제 감각은 단순하다.

기존 판단에 새로운 증거를 더해 더 나은 판단으로 업데이트하는 과정이다.

생성형 AI도 비슷한 방식으로 움직인다. 예를 들어 사용자가 이렇게 입력했다고 해보자.

대한민국의 수도는

이 문맥을 본 AI는 다음에 나올 단어 후보를 계산한다. 서울은 매우 높은 확률을 갖고, 부산이나 제주는 상대적으로 낮은 확률을 갖는다. 그래서 AI는 가장 그럴듯한 후보인 서울을 선택한다.

여기서 중요한 점은 AI가 인간처럼 정답의 의미를 완전히 이해해서 말한다고 보기 어렵다는 점이다. 물론 최신 모델은 문맥 이해와 추론 능력이 훨씬 정교해졌지만, 기본 작동 방식은 여전히 다음 결과의 확률을 계산하는 구조 위에 있다.

즉 생성형 AI는 현재 문맥에서 가장 자연스럽고 가능성 높은 다음 토큰을 고른다. 그리고 방금 고른 토큰까지 포함한 새 문맥에서 다시 다음 토큰을 고른다.

우리가 보기에는 AI가 한 문단을 한 번에 써 내려가는 것처럼 보인다. 하지만 내부적으로는 훨씬 잘게 쪼개진 과정이 반복된다.

예를 들면 이런 식이다.

오늘 → 오늘 날씨가 → 오늘 날씨가 좋아서 → 오늘 날씨가 좋아서 산책을

사람 눈에는 자연스러운 문장 생성으로 보이지만, 기계 입장에서는 계속 이어지는 예측 게임에 가깝다. 베이즈 확률이 말하는 업데이트의 관점으로 보면, AI가 새 문맥을 받을 때마다 가능성의 지도를 다시 그리는 셈이다.

이 원리는 텍스트에만 머물지 않는다. 이미지 생성 AI도 비슷한 방식으로 움직인다.

예를 들어 “비 오는 서울의 밤거리”라는 프롬프트를 입력하면 AI는 그 장면에 어울리는 요소들의 가능성을 높게 잡는다. 젖은 도로, 우산, 네온사인, 자동차 불빛, 바닥에 반사되는 조명 같은 요소가 자연스럽게 떠오른다.

반대로 사막, 눈 덮인 산, 한낮의 해변 같은 요소는 확률이 낮아진다. 프롬프트라는 문맥 안에서 그럴듯하지 않기 때문이다.

결국 이미지 생성 AI도 질문은 비슷하다. 이 문맥에서 가장 그럴듯한 픽셀과 형태는 무엇인가. 텍스트 AI가 다음 단어를 고른다면, 이미지 AI는 다음 시각적 단서를 고르는 방식으로 작동한다고 볼 수 있다.

생성형 AI를 인간처럼 생각하면 기대와 실망이 동시에 커진다. 실제로 써보면 AI는 똑똑한 조언자처럼 보일 때가 많다. 하지만 기본 구조를 이해하면 조금 더 차분하게 바라볼 수 있다.

생성형 AI는 확률 기반의 초거대 자동완성 시스템에 가깝다. 다만 우리가 스마트폰에서 보던 자동완성과는 규모와 정교함이 완전히 다르다. 인터넷 규모의 텍스트와 코드, 이미지, 다양한 패턴을 학습했기 때문에 그럴듯함의 수준이 매우 높아진 것이다.

이 말은 AI를 낮게 평가하자는 뜻이 아니다. 오히려 정확히 이해하자는 뜻에 가깝다. AI가 잘하는 일은 방대한 패턴 속에서 현재 맥락에 맞는 가능성을 빠르게 찾아내는 일이다.

생성형 AI 베이즈 확률의 관점은 AI의 한계도 설명해준다. AI는 항상 진실을 고르는 것이 아니라, 현재 문맥에서 가장 그럴듯한 답을 고른다.

이 둘은 비슷해 보이지만 같지 않다.

높은 확률의 문장이 항상 사실은 아니다. 그럴듯한 설명이 실제 근거를 가진 설명이라는 보장도 없다. 그래서 AI는 존재하지 않는 책, 논문, 인물, 통계 수치를 자연스럽게 말할 때가 있다. 이를 환각 현상이라고 부른다.

개인적으로는 이 지점이 AI 활용에서 가장 중요하다고 본다. AI의 답을 그대로 믿기보다, AI가 만든 초안을 검토하고 사실을 확인하는 과정이 필요하다. 특히 업무 문서, 금융, 법률, 의료, 보안처럼 정확성이 중요한 영역에서는 더 그렇다.

생성형 AI를 잘 쓰려면 AI가 확률적으로 답을 만든다는 사실을 전제로 삼아야 한다.

좋은 프롬프트는 AI에게 더 좋은 문맥을 제공한다. 문맥이 선명해질수록 AI가 선택할 수 있는 후보의 방향도 좁아진다. “글 써줘”보다 “IT 부서 실무자가 읽을 수 있게, 생성형 AI와 베이즈 확률의 관계를 쉬운 예시로 설명해줘”가 더 좋은 결과를 만드는 이유다.

또 하나는 검증이다. AI가 말한 내용 중 사실 관계가 필요한 부분은 반드시 확인해야 한다. AI는 검색 결과를 그대로 보여주는 도구가 아니라, 문맥을 바탕으로 가능성 높은 답을 조합하는 시스템이기 때문이다.

생성형 AI와 베이즈 확률의 관계는 어렵게 포장할 필요가 없다. 핵심은 하나다.

새로운 문맥이 들어올 때마다 가능성을 다시 계산하고, 그중 가장 그럴듯한 결과를 선택한다.

이 관점으로 보면 ChatGPT는 신비한 사고 기계라기보다 거대한 예측 엔진에 가깝다. 물론 그 예측 엔진의 성능은 놀라울 정도로 강력하다. 하지만 강력하다는 말과 항상 옳다는 말은 다르다.

AI를 제대로 쓰려면 이 차이를 이해해야 한다. 생성형 AI는 답을 주는 도구이기도 하지만, 동시에 검토가 필요한 초안을 만들어내는 도구다. 베이즈 확률의 관점은 바로 그 균형을 잡는 데 도움이 된다.