1장. 과정 소개와 LLM 의 이해

환각과 지식 마감일

길을 물으면 모르는 길도 자신 있게 알려 주는 사람이 있습니다. 말투가 확신에 차 있어서 믿고 갔다가 엉뚱한 곳에 닿습니다. LLM 도 이런 실수를 합니다. 다음 낱말을 그럴듯하게 이어 쓰는 모델이라, 사실이 아니어도 그럴듯하면 써 버립니다. 이것을 환각이라고 합니다.

환각, 지식 마감일, 내 자료를 모름의 세 약점과 각각의 처방을 나란히 놓은 비교 그림

세 상자의 제목이 약점이고, 첫 줄이 약점의 모습, "처방:"으로 시작하는 둘째 줄이 그 약점을 줄이는 방법입니다. 여기서 길을 자신 있게 잘못 알려 주는 사람이 환각을 일으키는 LLM 이고, 지도를 손에 쥐여 주는 것이 RAG 처럼 근거 자료를 함께 주는 처방입니다. 비유와 다른 점은, 사람은 거짓말인 줄 알고 할 때도 있지만 LLM 은 참과 거짓을 가리지 않고 그럴듯함만 따른다는 것입니다.

약점과 처방

약점	예	처방	배우는 장
환각	없는 상품 이름이나 규정을 지어낸다	프롬프트에 "모르면 모른다고 답하라"고 적고, 근거 문서를 함께 준다	3장, 6장
지식 마감일	학습한 뒤에 바뀐 요금이나 일정을 모른다	최신 정보를 도구로 찾아 넘겨준다	5장
내 자료를 모름	우리 회사의 약관이나 사내 문서를 모른다	문서를 검색해 프롬프트에 붙인다(RAG)	6장
계산 실수	큰 수의 곱셈이나 날짜 계산을 틀린다	계산기 같은 도구를 쓰게 한다	5장

한 번 더 확인할 것

챗봇을 만들 때 아래를 스스로 점검해 보세요.

틀리면 안 되는 내용(요금, 환불 규정)은 근거 문서에서 가져오게 했다
모를 때 "모른다"고 답하라는 지시를 시스템 메시지에 넣었다
최신 정보가 필요한 질문을 골라 두었다
답에 근거가 된 문서를 함께 보여 주는 방법을 생각해 두었다

주의할 점

환각은 줄일 수는 있어도 없앨 수는 없습니다. 중요한 답은 사람이 한 번 더 확인하는 단계를 둡니다.
온도를 낮추면 답이 덜 엉뚱해지지만 환각이 사라지지는 않습니다. 온도는 고르는 방식만 바꿀 뿐, 모델이 모르는 것을 알게 해 주지는 않습니다.