AI 챗봇과 LLM 의 이해 3 : 한계와 질문의 기술

안녕하세요, 오늘은 AI 챗봇과 대형 언어 모델, 즉 LLM의 한계와 우리가 더 좋은 답을 얻기 위해 어떻게 질문하면 좋을지에 대해 함께 이야기해보려 합니다. 챗봇이 때로는 정말 똑똑하게 느껴지지만, 엉뚱한 답을 내놓는 경우도 많은데요. 실제 오답 사례를 살펴보고, 우리가 챗봇을 똑똑하게 활용할 수 있는 질문의 기술까지 단계별로 배워보겠습니다. 그럼 강의를 시작하겠습니다.

먼저 오늘 우리가 다룰 주제들을 간단히 살펴볼게요. 챗봇이 왜 틀리는지, 환각 현상이 뭔지, 최신 정보와 챗봇의 관계, 그리고 챗봇 답변을 확인하는 습관까지 차근차근 알아볼 거예요. 그리고 질문을 더 잘하는 네 가지 기술, 그리고 이를 실제로 연습하는 실습도 준비되어 있습니다. 각 단계마다 여러분이 직접 생각하고 적용할 수 있도록 구성했으니, 끝까지 함께해 주세요.

먼저, 챗봇이 실제로 틀린 답을 내놓은 사례들을 살펴볼까요? 예를 들어, 어떤 친구가 우리 학교 교가를 물었더니 챗봇이 전혀 엉뚱한 가사를 지어낸 적이 있었고, 존재하지 않는 축제 날짜를 자신 있게 안내한 경우도 있었습니다. 인터넷에서는 챗봇이 말도 안 되는 답을 내서 웃음거리가 된 사례들도 종종 볼 수 있습니다. 만약 이런 오답을 시험이나 과제에 그대로 쓴다면 큰일이겠죠? 그래서 챗봇의 한계를 이해하는 것이 올바른 활용의 첫걸음이라는 점, 꼭 기억해 주세요.

그럼 챗봇이 왜 이런 틀린 답을 내놓는지 궁금하지 않나요? 챗봇은 사실 모든 걸 '아는' 것이 아니라, 입력된 질문에 대해 그럴듯한 답을 예측해서 말하는 구조예요. 1강에서 배운 '다음에 올 단어를 예측한다'는 개념이 여기에 해당하죠. 그래서 정확한 지식을 바탕으로 답을 내는 게 아니라, 가장 가능성 높은 답을 만들어내는 방식이라 틀릴 때가 많습니다. 특히 우리 학교나 동네처럼, 데이터에 잘 없는 주제일수록 오답 확률이 높아진다는 점도 기억해 두세요.

이제 '환각' 현상에 대해 이야기해볼게요. 환각이란 챗봇이 전혀 존재하지 않는 책이나 논문, 사건까지 정말 그럴듯하게 지어내는 현상이에요. 예를 들어, 실제로 없는 책 제목과 저자를 만들어내거나, 가짜 논문을 출처까지 덧붙여서 답하는 경우도 있습니다. 더 무서운 건, 챗봇이 자신감 있는 말투로 이런 틀린 정보를 전달한다는 점이에요. 특히 정확한 수치나 최신 사건, 아주 좁은 지역 정보를 물었을 때 이런 환각이 자주 나타나니 주의가 필요합니다.

챗봇의 답변이 최신 정보를 반영하지 못하는 경우도 많죠. 대부분의 챗봇은 학습이 완료된 시점까지만 정보를 알고 있어서, 어제 경기 결과나 방금 생긴 유행어는 모를 수 있습니다. 다만, 검색 기능과 연결된 챗봇은 최신 정보도 제공할 수 있으니, 사용하는 도구의 특성을 먼저 확인하는 게 중요합니다. 챗봇마다 아는 범위와 방식이 다를 수 있다는 점을 꼭 기억하세요.

그래서 우리는 챗봇의 답변을 무조건 믿지 않고, 중요한 주제일수록 반드시 확인하는 습관을 가져야 해요. 예를 들어, 과제, 건강, 돈과 관련된 정보는 공식 홈페이지나 검색을 통해 꼭 교차 검증해야 합니다. 챗봇의 답변 중에서도 믿어도 되는 부분과 반드시 직접 확인해야 할 부분을 구분하면서, 효율적으로 검증하는 방법을 연습해보면 좋겠습니다. 이런 습관이 쌓이면 챗봇을 더 안전하게 활용할 수 있어요.

이제 질문이 얼마나 중요한지 살펴볼 차례입니다. 예를 들어, '여행 알려줘'라고 물었을 때는 두루뭉술하고 평범한 답이 나오지만, '가족과 당일치기 근교 여행지 3곳을 예산과 함께 추천해줘'라고 구체적으로 물으면 훨씬 실용적이고 자세한 답을 얻을 수 있습니다. 즉, 질문을 얼마나 구체적으로 하느냐에 따라 챗봇의 답도 크게 달라집니다. 앞으로 소개할 네 가지 질문 기술을 익히면 더 좋은 답을 얻을 수 있게 됩니다.

첫 번째 질문 기술은 바로 구체적으로 질문하기입니다. 처음에는 '발표 대본 써줘'처럼 막연하게 요청할 수 있지만, 여기에 '중2 과학 수업용'처럼 상황을 추가하고, '3분 분량', '쉬운 단어로' 등 조건을 더하면 훨씬 원하는 답에 가까워집니다. 누가, 언제, 왜, 분량, 수준, 제외할 것 등 질문의 재료를 카드처럼 정리해두면, 앞으로 어떤 정보를 더 넣어야 할지 쉽게 알 수 있습니다.

두 번째 기술은 챗봇에게 역할을 정해 주는 것입니다. 그냥 질문하면 답변의 눈높이나 말투가 애매할 때가 많아요. 하지만 '너는 초등학생도 이해시키는 과학 선생님이야'처럼 역할을 부여하면, 답변이 상황에 딱 맞게 달라집니다. 요리사나 사서, 운동 코치처럼 다양한 역할을 지정해보면, 챗봇이 여러분의 필요에 맞춰 얼마나 유연하게 답을 바꾸는지 알 수 있습니다.

세 번째 기술은 답변의 형식을 정해주는 것입니다. 그냥 질문하면 답변이 길고 정리가 어려울 수 있는데, '표로 정리해줘', '3줄로 요약해줘', '장단점을 나눠서 알려줘'처럼 형식을 지정하면 훨씬 보기 쉽고 활용하기 좋아집니다. 실제로 형식 지정 전과 후의 답변을 비교해보면, 복습이나 과제 준비에도 훨씬 효율적이라는 걸 느낄 수 있을 거예요.

네 번째 기술은 이어서 질문하며 답을 다듬는 방법입니다. 처음 받은 답이 완벽하지 않을 때, '더 쉽게 설명해줘', '예시를 바꿔줘', '두 번째 항목만 자세히 알려줘'처럼 추가로 요청하면서, 점점 원하는 답에 가까워질 수 있습니다. 한 번에 완벽한 질문을 떠올리기 어렵더라도, 대화를 이어가면서 답을 조정하는 것이 실제로 챗봇을 가장 잘 활용하는 방법 중 하나입니다.

이제 배운 네 가지 질문 기술을 직접 연습해볼 차례예요. 모둠별로 같은 주제를 정해 밋밋한 질문과 네 가지 기술을 적용한 질문을 각각 만들어봅니다. 그런 뒤 예상되는 답변의 차이를 발표하고, 다른 모둠의 질문에서 잘된 점을 찾아보면서 서로 배워봅니다. 이런 과정을 통해 질문의 방식에 따라 챗봇의 답이 얼마나 달라지는지 직접 느껴볼 수 있습니다.

마지막 실습에서는 여러분이 직접 챗봇에게 물어보고 싶었던 질문을 꺼내, 오늘 배운 기술로 두 번 고쳐 써봅니다. 그리고 고치기 전과 후의 질문을 짝과 바꿔 읽으면서, 어느 쪽이 더 좋은 답을 얻을 수 있을지 평가해보세요. 이런 연습을 반복하다 보면, 자신의 질문을 스스로 개선하는 힘이 점점 길러질 거예요.

오늘 강의에서는 챗봇이 실제로 틀릴 수 있는 여러 사례와, 왜 그런 오답이 나오는지, 또 환각 현상과 최신 정보의 한계까지 살펴봤습니다. 그리고 챗봇의 답변을 무조건 믿지 않고, 더 좋은 답을 얻기 위해 질문을 구체화하고 역할과 형식, 대화식 다듬기 기술을 활용하는 방법까지 배웠죠. 앞으로 챗봇을 사용할 때 오늘 배운 내용을 꼭 떠올리면서, 똑똑하게 활용하는 여러분이 되길 바랍니다. 감사합니다.