실습 3 — 토큰 세고 요금 어림하기

import tiktoken

# o200k_base: GPT-4o 계열 모델이 쓰는 토큰 사전
enc = tiktoken.get_encoding("o200k_base")

text = "제주도 여행을 예약하고 싶어요."
# encode: 글 → 토큰 번호 목록
ids = enc.encode(text)

print("토큰 번호:", ids)
# decode([i]): 번호 하나를 다시 글 조각으로 바꿔 어떻게 썰렸는지 본다
print("토큰 조각:", [enc.decode([i]) for i in ids])
print("글자 수:", len(text), "/ 토큰 수:", len(ids))

import pandas as pd

# 같은 뜻의 한국어·영어 문장 네 쌍
pairs = [
    ("안녕하세요", "Hello"),
    ("제주도 여행을 예약하고 싶어요.", "I want to book a trip to Jeju."),
    ("출발 7일 전까지 무료로 바꿀 수 있습니다.", "You can change it for free up to 7 days before departure."),
    ("아이와 함께라면 동쪽 해안 일정을 추천드립니다.", "With kids, I recommend the east coast itinerary."),
]

rows = []
for no, (ko, en) in enumerate(pairs, start=1):
    for lang, sentence in [("한국어", ko), ("영어", en)]:
        rows.append({"쌍": no, "언어": lang, "글자 수": len(sentence), "토큰 수": len(enc.encode(sentence))})

table = pd.DataFrame(rows)
print(table.to_string(index=False))
# 언어마다 토큰 하나에 글자가 몇 개 들어가는지 평균을 낸다
sums = table.groupby("언어")[["글자 수", "토큰 수"]].sum()
print((sums["글자 수"] / sums["토큰 수"]).round(2))

import matplotlib.pyplot as plt

# 한글 글꼴과 빼기 기호 설정
plt.rcParams["font.family"] = "Malgun Gothic"
plt.rcParams["axes.unicode_minus"] = False

# pivot: 쌍을 행으로, 언어를 열로 펼쳐 막대를 나란히 그릴 표를 만든다
wide = table.pivot(index="쌍", columns="언어", values="토큰 수")[["한국어", "영어"]]
ax = wide.plot.bar(rot=0, figsize=(7, 3.8))
ax.set_title("같은 뜻의 문장, 언어마다 다른 토큰 수")
ax.set_xlabel("문장 쌍 번호")
ax.set_ylabel("토큰 수")
plt.show()

# 가정한 단가: 100만 토큰당 입력 1달러, 출력 4달러
# 실제 단가는 모델마다 다르고 자주 바뀌므로 OpenAI 가격 페이지에서 확인한다
PRICE_IN, PRICE_OUT = 1.0, 4.0

question = "출발 7일 전까지 예약을 바꿀 수 있나요?"
answer = "출발 7일 전까지 마이페이지에서 한 번 무료로 바꿀 수 있습니다."
tok_in, tok_out = len(enc.encode(question)), len(enc.encode(answer))

# 한 번 물을 때의 요금 = 입력 토큰 × 입력 단가 + 출력 토큰 × 출력 단가 (단가는 100만 토큰당이라 100만으로 나눈다)
per_call = (tok_in * PRICE_IN + tok_out * PRICE_OUT) / 1_000_000
calls = 1000 * 10   # 손님 1,000명이 10번씩 묻는다고 가정

print("입력 토큰:", tok_in, "/ 출력 토큰:", tok_out)
print(f"한 번에 {per_call:.6f}달러")
print(f"{calls:,}번이면 {per_call * calls:.2f}달러")