실습 5 — Window 메모리로 최근 대화만 남기기

import json
from pathlib import Path

import matplotlib.pyplot as plt
import tiktoken
from langchain_core.messages import convert_to_messages

# 한글 글꼴과 빼기 기호 설정
plt.rcParams["font.family"] = "Malgun Gothic"
plt.rcParams["axes.unicode_minus"] = False

enc = tiktoken.get_encoding("o200k_base")


def count_tokens(messages):
    """메시지 목록의 글을 tiktoken 으로 세어 더한다(역할 표시 토큰은 빼고 센 어림값)"""
    return sum(len(enc.encode(m.content)) for m in messages)


# convert_to_messages: {"role", "content"} 사전을 SystemMessage, HumanMessage, AIMessage 로 바꾼다
msgs = convert_to_messages(json.loads(Path("chat_log.json").read_text(encoding="utf-8")))
# 마지막 정리 질문을 보내는 순간의 기록: 마지막 답 하나를 뺀 20개
sent = msgs[:-1]

print("메시지:", len(msgs), "개 / 보낼 기록:", len(sent), "개")
print("역할:", [m.type for m in sent[:5]], "...")
print("마지막 질문:", sent[-1].content)
print("모두 보내면:", count_tokens(sent), "토큰")

from langchain_core.messages import trim_messages

kept = trim_messages(
    sent,
    max_tokens=100,              # 남길 토큰의 상한
    token_counter=count_tokens,  # 토큰을 세는 함수
    strategy="last",             # 뒤에서부터 남긴다
    include_system=True,         # 시스템 메시지는 늘 남긴다
    start_on="human",            # 남긴 기록이 사람의 질문으로 시작하게 한다
)
for m in kept:
    print(f"{m.type:6} {len(enc.encode(m.content)):3} 토큰 | {m.content}")
print("남은 메시지:", len(kept), "개 /", count_tokens(kept), "토큰")

import pandas as pd

rows = []
for limit in [50, 100, 150, 200, 250, 300, 350]:
    kept = trim_messages(sent, max_tokens=limit, token_counter=count_tokens,
                         strategy="last", include_system=True, start_on="human")
    rows.append({
        "상한": limit,
        "남은 메시지": len(kept),
        "남은 토큰": count_tokens(kept),
        # 앞에서 말한 조건이 남았는지 글자로 확인한다
        "2박 3일": any("2박 3일" in m.content for m in kept),
        "아이 둘": any("아이 둘" in m.content for m in kept),
    })

window = pd.DataFrame(rows)
print(window.to_string(index=False))

window.to_csv("out_ch04_window.csv", index=False, encoding="utf-8-sig")
print("저장: out_ch04_window.csv")

ax = window.plot(x="상한", y="남은 토큰", marker="o", legend=False, figsize=(7.5, 3.8))
# 모두 보낼 때의 토큰을 가로 점선으로 긋는다
ax.axhline(count_tokens(sent), linestyle="--", color="gray")
ax.text(50, count_tokens(sent) + 6, "모두 보내기", color="gray")
ax.set_title("토큰 상한에 따라 남는 기록의 토큰")
ax.set_xlabel("max_tokens (상한)")
ax.set_ylabel("남은 토큰 수")
ax.set_ylim(0, count_tokens(sent) + 40)
plt.show()