실습 2 — 청킹 견주기와 조항 단위로 나누기

import re
import warnings

warnings.filterwarnings("ignore", category=DeprecationWarning)

import matplotlib.pyplot as plt
import pandas as pd
from langchain_community.document_loaders import PyPDFLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter

# 그래프의 한글 글꼴과 마이너스 기호
plt.rcParams["font.family"] = "Malgun Gothic"
plt.rcParams["axes.unicode_minus"] = False

pages = PyPDFLoader("travel_terms.pdf").load()
HEADER = "구름다리여행 여행 약관 (연습용 가상 문서)"    # 실습 1에서 찾은 머리글

splitter = RecursiveCharacterTextSplitter(
    chunk_size=200,      # 조각 하나의 최대 글자 수
    chunk_overlap=30,    # 이웃 조각과 겹칠 최대 글자 수
)
# split_documents: Document 목록을 조각 Document 목록으로. 쪽의 metadata 를 조각마다 물려준다
chunks = splitter.split_documents(pages)
print("쪽 4개 → 조각", len(chunks), "개")
for c in chunks[:3]:
    print(f"[{c.metadata['page'] + 1}쪽, {len(c.page_content)}자]", c.page_content.replace("\n", " ")[:60], "…")

def describe(chunks):
    """조각 목록의 조각 수, 평균 길이, 머리글이 든 조각 수, 조항이 둘 이상 섞인 조각 수"""
    return {
        "조각 수": len(chunks),
        "평균 글자 수": round(sum(len(c.page_content) for c in chunks) / len(chunks), 1),
        "머리글 든 조각": sum(HEADER in c.page_content for c in chunks),
        "조항 섞인 조각": sum(len(re.findall(r"제\d+조 ", c.page_content)) >= 2 for c in chunks),
    }


rows = []
for size in [100, 200, 300, 500, 1000]:
    sp = RecursiveCharacterTextSplitter(chunk_size=size, chunk_overlap=30)
    rows.append({"chunk_size": size, **describe(sp.split_documents(pages))})

sizes = pd.DataFrame(rows).set_index("chunk_size")
print(sizes.to_string())

fig, axes = plt.subplots(1, 2, figsize=(10, 3.8))

# 왼쪽: 크기마다 조각 수
sizes["조각 수"].plot.bar(ax=axes[0], rot=0)
axes[0].set_title("chunk_size 와 조각 수")
axes[0].set_xlabel("chunk_size (글자)")
axes[0].set_ylabel("조각 수")

# 오른쪽: 크기마다 "조항 섞인 조각"이 전체에서 차지하는 비율
(sizes["조항 섞인 조각"] / sizes["조각 수"]).plot(ax=axes[1], marker="o")
axes[1].set_title("조항이 둘 이상 섞인 조각의 비율")
axes[1].set_xlabel("chunk_size (글자)")
axes[1].set_ylabel("비율")
axes[1].set_ylim(0, 1.05)

plt.tight_layout()
plt.show()

from langchain_core.documents import Document

articles = []
for p in pages:
    # 머리글을 지우고, 줄바꿈과 겹친 빈칸을 빈칸 하나로 바꾼다
    text = p.page_content.replace(HEADER, "")
    text = re.sub(r"\s+", " ", text).strip()
    # (?=…): 그 자리 "앞"에서 자르되 "제N조 " 글자는 남긴다(앞을 내다보기, lookahead)
    parts = re.split(r"(?=제\d+조 )", text)
    chapter = parts[0].strip()                      # 첫 토막은 "제1장 총칙과 예약" 같은 장 제목
    for part in parts[1:]:
        number = re.match(r"제\d+조", part).group()      # 조각 맨 앞의 조항 번호
        articles.append(Document(
            page_content=part.strip(),
            metadata={"article": number, "chapter": chapter, "page": p.metadata["page"] + 1},
        ))

print("조항 단위 조각:", len(articles), "개")
print(describe(articles))
for d in articles[4:6]:
    print(d.metadata, "|", d.page_content[:50], "…")

saved = pd.DataFrame([{**d.metadata, "글자 수": len(d.page_content), "내용": d.page_content} for d in articles])
saved.to_csv("out_ch06_chunks.csv", index=False, encoding="utf-8-sig")
print("저장: out_ch06_chunks.csv")