강의 질문 챗봇, 그럴듯한 오답을 막는 법 — 근거로 답하게 하기

학생이 밤늦게 강의를 보다 모르는 게 생기면, 선생님께 바로 물어보기 어렵습니다. 그래서 강의 내용을 묻는 질문 챗봇을 붙이는 곳이 늘고 있습니다. 그런데 챗봇을 써 본 분들이 가장 걱정하는 것이 있습니다. 틀린 답을 아주 그럴듯하게 한다는 점입니다.

챗봇은 왜 그럴듯한 오답을 할까요

일반적인 AI 챗봇(대형 언어 모델)은 많은 글을 학습해 자연스러운 다음 말을 이어 붙이는 방식으로 답을 만듭니다. 그래서 문장은 매끄럽지만 사실과 다른 내용을 지어낼 수 있는데, 연구자들은 이를 **환각(hallucination)**이라고 부르며 대형 언어 모델의 주요 문제로 다룹니다.

• 모르는 내용도 아는 것처럼 말을 이어 갑니다.
• 다른 교재나 다른 학년의 설명이 섞여 우리 강의와 다른 답을 합니다.
• 숫자, 연도, 공식처럼 정확해야 하는 부분을 비슷한 값으로 바꿔 말하기도 합니다.

학생은 문장이 자연스러우면 맞는 답이라고 믿기 쉽습니다. 시험을 준비하는 학생에게 그럴듯한 오답은 답이 없는 것보다 더 해롭습니다.

해결법: 우리 강의를 근거로만 답하게 하기

널리 쓰이는 방법은 챗봇이 학습한 모든 것으로 답하게 하지 말고, 우리 강의 자료에서 먼저 관련 내용을 찾아 그것을 바탕으로 답하게 하는 것입니다. 이 방식은 2020년 논문에서 검색 증강 생성(RAG)이라는 이름으로 정리됐고, 답의 근거를 함께 보여 줄 수 있다는 장점이 있습니다.

1. 강의 자막을 근거 자료로 씁니다. 선생님이 실제로 한 설명이 그대로 들어 있습니다.
2. 강의 자료와 게시판의 지난 질문·답변을 더합니다. 자주 나오는 질문은 이미 선생님이 답해 둔 경우가 많습니다.
3. 질문이 오면 이 자료에서 관련 부분을 먼저 찾고, 찾은 내용을 바탕으로만 답을 만듭니다.
4. 답과 함께 근거를 보여 줍니다. 몇 번째 강의 몇 분쯤의 설명인지, 어떤 자료의 어느 부분인지 함께 표시합니다.
5. 근거를 못 찾으면 모른다고 답합니다. 억지로 답을 지어내지 않고, 선생님께 질문을 남기도록 안내합니다.

근거를 보여 주면 좋은 점

• 학생이 직접 확인할 수 있습니다. 근거 구간으로 바로 가서 선생님 설명을 다시 들을 수 있습니다.
• 틀린 답을 빨리 발견합니다. 근거와 답이 맞지 않으면 학생도 선생님도 금방 알아챕니다.
• 선생님 설명과 같은 말로 배웁니다. 다른 교재의 설명 방식이 섞이지 않아 혼란이 줄어듭니다.

좋은 강의 챗봇의 기준

선생님이 함께 챙기면 좋은 것

• 자막을 정확하게 만들어 두세요. 챗봇의 근거가 자막이므로, 자막의 용어가 틀리면 답도 흔들립니다. 과목 용어를 등록해 자막을 만들면 도움이 됩니다.
• 자주 틀리는 질문을 모아 보세요. 챗봇이 모른다고 한 질문은 강의에서 설명이 부족했던 부분일 수 있습니다. 다음 강의 준비에 좋은 자료가 됩니다.
• 챗봇 답을 정답으로 공지하지 마세요. 챗봇은 복습을 돕는 도구이고, 시험 범위나 정답 공지는 선생님이 직접 하는 것이 안전합니다.

자주 묻는 질문

Q. 근거로만 답하면 답이 너무 짧아지지 않나요?
A. 강의에서 충분히 설명한 내용이라면 근거를 바탕으로 자세히 풀어 줄 수 있습니다. 짧아지는 것은 강의에서 다루지 않은 내용일 때이고, 그때는 모른다고 하는 것이 맞습니다.

Q. 강의가 쌓일수록 더 좋아지나요?
A. 네. 근거로 쓸 자막과 자료, 지난 질문이 늘어날수록 답할 수 있는 범위가 넓어집니다.

Q. 학생들 질문 기록을 볼 수 있나요?
A. 어떤 질문이 많이 나오는지 보면 학생들이 어려워하는 부분을 알 수 있어, 수업 개선에 활용하는 곳이 많습니다.

다만 근거 자료를 찾아 답하게 해도 오답이 완전히 사라지지는 않습니다. 관련 연구들도 이 점을 지적합니다. 그래서 근거를 함께 보여 주고, 근거가 없으면 모른다고 답하게 하는 장치가 함께 필요합니다.

출처

• Lewis 외, Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, NeurIPS 2020
• Huang 외, A Survey on Hallucination in Large Language Models (arXiv 2311.05232, 2023)

자막을 근거로 답하는 학습 챗봇은 AI 서비스에서 자세히 볼 수 있습니다.