1장. 과정 소개와 LLM 의 이해

정리

• 규칙 챗봇은 사람이 정한 낱말에만 답하고, LLM 챗봇은 질문의 뜻을 읽고 답을 지어 씁니다. 실습 1의 규칙 챗봇은 손님 질문 20개 가운데 11개만 맞혔습니다.
• LLM 은 "다음 낱말 맞히기"를 되풀이해 글을 씁니다. 다음 낱말의 확률은 "그 낱말이 온 횟수 ÷ 전체 횟수"처럼 비율로 생각할 수 있습니다.
• LLM 은 글을 토큰 조각으로 셉니다. 요금, 길이 제한, 속도가 모두 토큰 수로 정해지고, 같은 뜻이라도 언어마다 토큰 수가 다릅니다.
• 온도는 고르는 모험의 정도입니다. 횟수를 (1 ÷ 온도) 제곱해 비율을 내면, 온도가 낮을수록 1등이 더 많이 가져가고 높을수록 골고루 나뉩니다. 기록에 없는 낱말은 온도를 올려도 나오지 않습니다.
• 대화는 시스템, 사용자, 어시스턴트 역할의 메시지로 이루어집니다. LLM API 는 기억하지 못하므로 앞의 대화를 매번 함께 보내야 하고, 그래서 보내는 토큰이 대화가 길어질수록 늘어납니다.
• LLM 은 환각을 일으키고, 지식 마감일 뒤의 일과 내 자료를 모릅니다. 근거 문서(RAG)와 도구가 그 처방입니다.
• 챗봇은 웹 화면(Streamlit), 챗봇 로직(LangChain), LLM(OpenAI API), 문서 검색, 도구로 이루어지고, 이 과정은 그 부분을 2장부터 하나씩 만듭니다.