AI 답변이 맞는지 어떻게 아는가 — 평가셋과 환각 방어

LLM 답변의 품질은 느낌이 아니라 평가셋으로 잽니다. 답이 정해진 질문 20~50개를 미리 만들어 두고 바뀔 때마다 돌려 보는 것이 시작입니다. 환각은 모델이 거짓말을 해서가 아니라 근거 없이도 문장을 완성하도록 설계돼서 생기며, 방어는 '근거가 없으면 답하지 않게' 만드는 데서 출발합니다.

LLM(Large Language Model)의 발전은 비즈니스 운영에 혁신을 가져왔습니다. 특히 고객 상담 분야에서는 AI 챗봇 도입을 통해 24시간 문의 대응, 단순 반복 업무 자동화 등 효율성 증대를 기대하고 있습니다. 그러나 막상 LLM을 현업에 적용하다 보면, "과연 AI가 내놓는 답변을 신뢰할 수 있을까?"라는 근본적인 질문에 부딪히게 됩니다. AI가 때로는 그럴듯하지만 사실과 다른 정보를 제공하는, 이른바 '환각(hallucination)' 현상 때문입니다.

기술 조직의 입장에서 LLM 답변 품질 관리는 단순히 CS 효율을 넘어 비즈니스의 신뢰도와 직결되는 핵심 과제입니다. 고객들은 AI가 제공하는 정보를 기업의 공식 입장으로 받아들이기 때문입니다. 그렇다면 LLM 기반 답변의 품질을 어떻게 측정하고, 환각을 효과적으로 방어하며, 운영 과정에서 품질 저하를 미리 감지하고 개선할 수 있을까요?

환각은 왜 생기는가

Google Search Central은 양질의 콘텐츠를 "사람에게 도움이 되는, 신뢰할 수 있는 정보"([소스 1] 참조)라고 정의합니다. 이 기준은 LLM이 생성하는 답변에도 동일하게 적용되어야 합니다. 그러나 LLM은 본질적으로 통계적 패턴 학습에 기반하며, 이는 '환각'이라는 고질적인 문제로 이어집니다.

Google Cloud RAG 문서([소스 2] 참조)에 따르면, "LLM은 사전 학습된 데이터에 한정되어 있어 오래되거나 부정확한 답변을 줄 수 있습니다." LLM의 환각은 다음과 같은 구조적 원인에서 비롯됩니다.

1. 사전 학습 데이터의 한계: LLM은 특정 시점까지의 방대한 데이터로 학습됩니다. 따라서 학습 시점 이후의 최신 정보에 대한 지식이 없으며, 학습 데이터 자체에 포함된 오류나 편향이 답변에 반영될 수 있습니다.
2. 토큰 예측의 오류: LLM은 질문에 대한 정답을 '이해'하는 것이 아니라, 주어진 질문의 맥락에서 다음 올 단어를 확률적으로 예측합니다. 이 과정에서 확률적으로 가장 그럴듯하지만, 실제 사실과는 다른 내용을 생성하는 오류가 발생할 수 있습니다.
3. 정보 부족 시의 추론: 질문에 대한 직접적인 정보가 지식 베이스에 없거나 명확하지 않을 때, LLM은 '모른다'고 답하기보다 학습된 패턴을 기반으로 '그럴듯한' 내용을 추론하여 지어내는 경향이 있습니다.

이러한 특성으로 인해 순수 LLM만으로는 기업이 요구하는 수준의 정확하고 신뢰성 있는 답변을 기대하기 어렵습니다.

좋은 답변은 무엇으로 정의하는가

LLM 답변의 품질을 높이기 위한 핵심적인 기술은 바로 **RAG(Retrieval-Augmented Generation, 검색 증강 생성)**입니다. RAG는 LLM의 창의적인 언어 생성 능력과 외부의 신뢰할 수 있는 정보 검색 시스템을 결합하여 환각 문제를 효과적으로 방어합니다.

Google Cloud RAG 문서는 RAG를 "전통적인 정보 검색 시스템과 생성형 LLM의 강점을 결합"하여 "더 정확하고 최신이며 특정 요구 사항에 더 적합한" 답변을 제공한다고 설명합니다. ([소스 2] 참조)

다음 표를 통해 순수 LLM 답변과 RAG 기반 LLM 답변의 차이를 명확히 이해할 수 있습니다.

CherryChat과 같은 RAG 기반 AI 상담 솔루션은 고객사의 매뉴얼, FAQ, 웹사이트 등의 내부 문서를 학습하여 LLM이 답변을 생성할 때 해당 문서의 내용을 '근거'로만 사용하도록 강제합니다. 이로써 LLM은 단순한 '문장 생성기'가 아닌, '정보 분석 및 요약기'로서의 역할을 수행하며 답변의 정확성과 신뢰성을 획기적으로 높일 수 있습니다.

품질을 어떻게 측정하고 방어하는가

이제 실제 비즈니스 환경에서 LLM 기반 답변의 품질을 어떻게 확보하고 관리할 수 있을지 구체적인 전략을 살펴보겠습니다.

A. 평가셋(Gold Set) 구축: LLM 답변 품질의 객관적 기준 마련

평가셋(Gold Set)은 LLM이 생성하는 답변의 정확성, 유용성, 일관성 등을 객관적으로 측정하기 위한 일종의 '정답지'입니다. 양질의 평가셋은 LLM 모델을 훈련하거나, 파인튜닝하거나, 또는 단순히 답변 품질을 모니터링하는 데 필수적입니다.

평가셋의 구성 요소:

1. 질문(Query): 실제 사용자에게서 들어오는 문의, 예상 질문 시나리오, FAQ 등. 다양한 의도와 난이도를 포함해야 합니다.
2. 참고 문서(Context/Source Document): 질문에 대한 '정답'을 찾을 수 있는 신뢰할 수 있는 정보원(예: 회사 매뉴얼, 정책 문서, 웹사이트 내용). CherryChat은 고객사가 직접 업로드한 문서들을 이 지식 베이스로 활용합니다.
3. 전문가 답변(Human Gold Answer): 참고 문서에 기반하여 사람이 직접 작성한, 가장 이상적인 형태의 모범 답변입니다. 이는 LLM 답변과 비교하여 평가하는 기준이 됩니다.
4. 평가 기준(Rubric): 답변의 정확성(factual accuracy), 완전성(completeness), 유창성(fluency), 환각 여부(hallucination), 의도 부합 여부(intent alignment) 등을 상세하게 평가할 수 있는 지표와 척도(예: 1~5점 척도 또는 이진 평가).

평가셋 구축 절차:

1. 질문 수집: 실제 유입된 문의 데이터, 고객 피드백, 내부 지식 문서 등을 바탕으로 대표적인 질문들을 수집합니다.
2. 정답 컨텍스트 매핑: 각 질문에 대해 가장 관련성이 높고 신뢰할 수 있는 내부 문서 조각을 매핑합니다.
3. 전문가 답변 작성: 매핑된 컨텍스트를 기반으로 CS 전문가나 해당 분야 담당자가 직접 이상적인 답변을 작성합니다.
4. 지속적인 업데이트: 서비스나 제품의 변경 사항, 정책 업데이트 등이 발생하면 평가셋도 함께 최신 정보로 업데이트해야 합니다.

B. 환각 방어 장치: LLM의 신뢰도를 높이는 기술적 접근

CherryChat은 RAG 아키텍처를 기반으로 다음의 방어 장치들을 통해 LLM의 환각을 최소화하고 답변의 신뢰도를 극대화합니다.

1. 근거 문서 제한 (Grounding): RAG의 핵심 원리입니다. LLM이 외부 지식 베이스(예: 고객사가 업로드한 PDF, Word, TXT 파일)에서 검색된 정보에만 근거하여 답변을 생성하도록 엄격하게 제어합니다. Google Cloud RAG 문서는 "가장 관련성 높은 사실이 LLM에 제공되고, LLM 출력이 해당 사실에 전적으로 기반하도록 보장"하는 것이 중요하다고 강조합니다. ([소스 2] 참조) 이를 통해 LLM이 '지어내는' 것을 원천적으로 방지합니다.

2. 출처 표시 (Citation): 생성된 답변에 사용된 원본 문서의 페이지, 섹션 등 구체적인 출처를 함께 제공합니다. 이는 사용자가 답변의 근거를 직접 확인하고 신뢰도를 높이는 데 기여합니다. Google Search Central 역시 "명확한 출처 제공"이 콘텐츠에 대한 신뢰를 높이는 요소라고 언급합니다. ([소스 1] 참조)

3. 모르면 답하지 않기 (Refusal to Answer): 제공된 지식 베이스 내에서 질문에 대한 적절한 답변을 찾을 수 없거나, 답변의 신뢰도가 낮다고 판단될 경우, AI는 솔직하게 "현재 가지고 있는 정보로는 해당 질문에 답변하기 어렵습니다"와 같이 답변 생성을 거부합니다. 이는 불필요한 환각을 방지하고 고객에게 솔직한 신뢰감을 주는 중요한 전략입니다.

4. 에스컬레이션 (Human Escalation): AI가 답변할 수 없는 복잡하거나 민감한 질문, 또는 고객이 명시적으로 사람 상담을 원할 경우, CherryChat은 대화 맥락과 요약 정보를 함께 담당 상담원에게 원활하게 인계합니다. 이는 AI의 한계를 보완하고 고객 만족도를 높이는 하이브리드 상담의 핵심 기능입니다. "AI가 붙잡지 않고 담당자에게 넘깁니다"라는 CherryChat의 메시지는 이러한 유연한 에스컬레이션 기능을 강조합니다.

C. 운영에서 답변 품질 저하 감지: 지속적인 개선을 위한 모니터링

LLM 모델이 배포된 이후에도 답변 품질을 지속적으로 모니터링하고 개선하는 것은 필수적입니다. 운영 중 품질 저하를 감지하기 위한 방법은 다음과 같습니다.

1. 사용자 피드백 분석:

   • 도움 여부 평가: 각 AI 답변 하단에 "이 답변이 도움이 되었나요?"와 같은 간단한 피드백 버튼(예: 엄지척/엄지내림)을 제공하여 직관적인 피드백을 수집합니다. 부정 피드백 발생 시 해당 대화 로그를 상세 분석합니다.
   • 자유 응답 피드백: 고객이 직접 의견을 남길 수 있는 필드를 제공하고, 키워드 분석을 통해 불만 사항이나 개선점을 파악합니다.

2. 핵심 지표 모니터링:

   • 자동 응답률 (Automation Rate): 사람의 개입 없이 AI가 질문에 최종 답변까지 완료한 비율입니다. 이 비율이 높을수록 AI의 효율성이 높다고 볼 수 있습니다.
   • 에스컬레이션율 (Escalation Rate): AI에서 사람 상담으로 전환된 문의의 비율입니다. 이 비율이 급격히 증가한다면 AI의 답변 품질이나 지식 베이스에 문제가 생겼을 가능성이 있습니다.
   • 재질문율 (Re-query Rate): 사용자가 AI 답변 이후 같은 질문을 다시 하거나, 답변 내용에 대해 추가 질문을 하는 비율입니다. 이는 AI 답변의 불명확성, 불완전성, 혹은 질문 의도 불일치를 시사할 수 있습니다.
   • 환각 의심 답변율: 특정 키워드, 숫자, 날짜, 이름 등 실제 정보와 달라 보이는 패턴을 감지하여 환각이 의심되는 답변의 비율을 모니터링합니다.

3. 주기적인 수동 평가 (Human Evaluation): 자동화된 지표만으로는 파악하기 어려운 답변의 미묘한 뉘앙스나 맥락적 오류를 찾아내기 위해 전문가(CS 리드 등)가 실제 대화 로그의 샘플을 주기적으로 평가합니다. 평가셋 구축 시 활용한 평가 기준(Rubric)을 사용하여 객관성을 확보합니다. 새로운 질문 유형이나 특정 키워드에 대한 답변 품질을 집중적으로 점검할 수 있습니다.

4. 모델 개선 루프 구축: 감지된 품질 저하의 원인을 분석하고, 이를 바탕으로 지식 베이스 업데이트, LLM 프롬프트 튜닝, RAG 검색 로직 개선, 평가셋 보강 등 구체적인 개선 조치를 취합니다. Google Cloud RAG 문서 역시 RAG 품질 최적화를 위해 "검색 엔진 구성, 소스 데이터 큐레이션, 소스 레이아웃 파싱 또는 청킹 전략 개선, 또는 사용자 질문 정제" 등 다양한 노력이 필요하다고 강조합니다. ([소스 2] 참조)

도입 전 체크리스트

• 우리는 LLM 답변 품질을 측정하기 위한 명확한 평가셋(골드셋)을 가지고 있는가?
• 우리의 AI는 제공된 문서에 '근거해서만' 답변하는가? (RAG grounding)
• 답변에 사용된 정보의 출처를 명확히 제시하고 있는가?
• 정보가 없을 때 '모른다'고 솔직히 인정하는가, 아니면 지어내는가?
• 사람 개입이 필요할 때 원활하게 담당자에게 인계되는가? (에스컬레이션)
• 운영 중 답변 품질 저하를 감지할 수 있는 핵심 지표와 모니터링 시스템을 갖추고 있는가?
• 사용자 피드백을 체계적으로 수집하고, 이를 개선 프로세스에 반영하고 있는가?

CherryChat Insight

1. AI 신뢰는 '정직함'에서 시작됩니다: CherryChat은 모르는 질문에는 단호히 "모른다"고 답하며, 이는 불필요한 환각을 줄이고 사용자에게 솔직한 신뢰감을 제공하는 핵심 원칙입니다. 필요한 경우 언제든 사람 상담원에게 연결하여 'AI가 붙잡지 않고 담당자에게 넘기는' 유연한 상담 경험을 제공합니다.
2. RAG 기반 지식 베이스가 환각을 잡는 근본적인 해법입니다: CherryChat은 고객이 업로드한 매뉴얼, FAQ, 웹사이트 등의 문서를 학습하여 답변을 생성합니다. 이는 LLM이 외부 데이터를 지어내는 것을 방지하고 실제 비즈니스 컨텍스트에 '근거한' 답변만을 제공하는 가장 강력한 방어 장치입니다.
3. 사람과 AI의 유연한 협업이 고객 경험을 만듭니다: AI만으로는 해결할 수 없는 복합적인 문의나 민감한 상황에서는, CherryChat은 즉시 고객의 문의 맥락을 파악하여 담당자에게 원활하게 인계합니다. 이는 AI의 효율성과 사람의 공감 능력을 결합한 최적의 고객 상담 솔루션입니다.

참고자료

• [소스 1] Creating Helpful, Reliable, People-First Content | Google Search Central: https://developers.google.com/search/docs/fundamentals/creating-helpful-content
• [소스 2] What is Retrieval-Augmented Generation (RAG)? | Google Cloud: https://cloud.google.com/use-cases/retrieval-augmented-generation

다음 단계

문서 기반 응대의 정확도를 직접 재보고 싶다면, CherryChat 14일 무료 체험에서 가진 문서를 올려 평가 질문을 던져 볼 수 있습니다.