실습 4 — 다양한 프롬프트 견주기

import os

import pandas as pd
import tiktoken
from dotenv import find_dotenv, load_dotenv
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate, FewShotChatMessagePromptTemplate
from langchain_openai import ChatOpenAI

QUESTION = "비행기 탈 때 짐 싸는 요령 알려 주세요"

# (가) 기본: 질문만 보낸다(제로샷)
basic = ChatPromptTemplate.from_messages([("human", "{question}")])

# (나) 역할·형식·제약을 시스템 메시지에 적는다
styled = ChatPromptTemplate.from_messages([
    ("system", "너는 구름다리여행의 친절한 상담원이다.\n"
               "답은 글머리표(-) 세 줄로 쓰고, 한 줄은 30자 안팎으로 한다.\n"
               "항공사마다 다른 규정(무게, 개수)은 숫자를 지어내지 말고 '항공사 규정을 확인하세요'라고 쓴다."),
    ("human", "{question}"),
])

# (다) 퓨샷: "핵심 한 줄 + 팁 두 개" 꼴의 예시 두 쌍을 보여 준다
examples = [
    {"question": "여권 챙길 때 주의할 점 알려 주세요",
     "answer": "핵심: 남은 기간부터 확인하세요.\n팁 1. 만료일이 6개월 넘게 남았는지 봅니다.\n팁 2. 사진 면을 찍어 휴대폰에 따로 둡니다."},
    {"question": "환전은 어떻게 준비하면 좋아요?",
     "answer": "핵심: 쓸 만큼만 나눠 준비하세요.\n팁 1. 큰 금액은 카드로, 잔돈만 현금으로 챙깁니다.\n팁 2. 남은 외화는 다음 여행을 위해 따로 모아 둡니다."},
]
fewshot = ChatPromptTemplate.from_messages([
    ("system", "너는 구름다리여행의 친절한 상담원이다. 예시와 같은 꼴로 답한다."),
    FewShotChatMessagePromptTemplate(
        examples=examples,
        example_prompt=ChatPromptTemplate.from_messages([("human", "{question}"), ("ai", "{answer}")]),
    ),
    ("human", "{question}"),
])

PROMPTS = {"기본": basic, "역할·형식·제약": styled, "퓨샷": fewshot}

# 프롬프트마다 보내는 메시지 수와 토큰 수를 센다(여기까지는 모델을 부르지 않는다)
enc = tiktoken.get_encoding("o200k_base")
for name, p in PROMPTS.items():
    msgs = p.invoke({"question": QUESTION}).to_messages()
    print(f"{name}: 메시지 {len(msgs)}개, 토큰 {sum(len(enc.encode(m.content)) for m in msgs)}")

# 2차시에서 한 방식대로 키와 모델 이름을 읽는다
load_dotenv(find_dotenv(usecwd=True))
MODEL = os.getenv("OPENAI_MODEL", "gpt-4.1-mini")
# 셋을 공정하게 견주려고 온도 0 과 같은 최대 토큰을 쓴다
model = ChatOpenAI(model=MODEL, temperature=0, max_tokens=400, timeout=30)

answers = {}
for name, p in PROMPTS.items():
    # 프롬프트만 바꿔 끼우고 모델과 파서는 그대로다
    chain = p | model | StrOutputParser()
    answers[name] = chain.invoke({"question": QUESTION})
    print(f"===== {name}")
    print(answers[name])

rows = []
for name, text in answers.items():
    lines = [line for line in text.splitlines() if line.strip()]   # 빈 줄은 빼고 센다
    rows.append({
        "프롬프트": name,
        "글자 수": len(text),
        "줄 수": len(lines),
        "답 토큰": len(enc.encode(text)),
        "숫자를 적었나": any(ch.isdigit() for ch in text),   # 글자 가운데 숫자가 하나라도 있으면 True
    })
compare = pd.DataFrame(rows)
print(compare.to_string(index=False))

# 답 글도 함께 남겨 엑셀에서 나란히 읽어 볼 수 있게 한다
compare["답"] = [answers[name] for name in compare["프롬프트"]]
compare.to_csv("out_ch03_prompt_compare.csv", index=False, encoding="utf-8-sig")
print("저장: out_ch03_prompt_compare.csv")