웹페이지나 워드 문서를 복사해 AI에 그대로 붙여 넣은 적 있으실 겁니다. 눈에 보이는 글자는 똑같은데 요금은 최대 2.87배가 나옵니다. 보이지 않는 태그가 같이 딸려 오기 때문입니다.
같은 내용의 문서 하나를 플레인텍스트·마크다운·HTML·워드에서 복사한 HTML 네 가지로 만들어 직접 재봤습니다.
결론부터
| 표기 방식 | 글자 수 | 토큰 | 플레인 대비 |
|---|---|---|---|
| 플레인텍스트 | 294 | 179 | 1.00배 |
| 마크다운 | 320 | 192 | 1.07배 |
| HTML | 748 | 348 | 1.94배 |
| 워드에서 복사한 HTML | 1,201 | 513 | 2.87배 |
마크다운은 거의 공짜(1.07배)고, HTML은 두 배, 워드에서 복사한 HTML은 세 배에 가깝습니다. 구조를 지키고 싶다면 HTML이 아니라 마크다운을 쓰면 됩니다.
왜 HTML이 두 배가 되는가
HTML은 문단마다 태그가 붙습니다. 문서에 실제로 담긴 내용은 294자인데 태그까지 합치면 748자가 됩니다. 본문보다 태그가 더 깁니다.
게다가 태그는 토큰 효율이 나쁩니다. <section id="step-1"> 같은 조각은 꺾쇠·따옴표·하이픈이 뒤섞여 있어 글자 수에 비해 토큰을 많이 먹습니다.
class와 id가 특히 비쌉니다
class="doc-title", id="cautions" 같은 속성은 화면에 아무것도 보여주지 않습니다. 그런데 토큰은 똑같이 냅니다. AI에게 이 정보는 대부분 쓸모가 없습니다 — 무엇이 제목이고 무엇이 목록인지는 태그 이름만으로 충분히 전달됩니다.
워드·한글에서 복사하면 왜 더 심해지는가
워드나 한글에서 복사한 내용을 붙여 넣으면 문단마다 이런 것이 따라옵니다.
<p style="margin:0cm;font-size:11.0pt;
font-family:'맑은 고딕',sans-serif;
line-height:180%">실제 내용은 여기 한 줄</p>글꼴·글자 크기·줄간격이 문단마다 반복됩니다. 측정한 문서에서는 이것만으로 179토큰이 513토큰이 됐습니다. 내지 않아도 될 334토큰을 문서 하나마다 더 내는 셈입니다.
| 월 처리량 | 플레인 대비 추가 토큰 |
|---|---|
| 문서 100건 | 33,400 |
| 문서 1,000건 | 334,000 |
| 문서 10,000건 | 3,340,000 |
태그만 지우면 원래대로 돌아옵니다
HTML에서 태그를 제거했더니 177토큰이 나왔습니다. 플레인텍스트(179토큰)보다 오히려 2토큰 적습니다. 즉 늘어난 169토큰은 전부 태그였고 내용은 하나도 늘지 않았습니다.
붙여 넣기 전에 태그를 한 번 벗기는 것만으로 비용이 절반이 됩니다. 내용은 그대로입니다.
가장 쉬운 방법
- 브라우저에서 복사할 때 Ctrl+Shift+V(서식 없이 붙여넣기)를 쓰세요.
- 워드·한글 문서는 메모장에 한 번 붙였다가 다시 복사하면 서식이 사라집니다.
- 웹페이지 전체를 넣어야 한다면 브라우저의 읽기 모드를 켜고 복사하세요.
- 반복 작업이라면 아래 재현 코드처럼 태그 제거를 자동화하세요.
그래도 구조는 남기고 싶다면 — 마크다운
표나 목록, 제목 구분이 중요한 문서라면 구조를 버리기 아깝습니다. 그럴 때 마크다운이 정답입니다. 플레인텍스트 대비 13토큰(1.07배)밖에 늘지 않으면서 제목·목록·강조가 그대로 전달됩니다.
| 원하는 것 | 권장 | 비용 |
|---|---|---|
| 구조가 필요 없음 | 플레인텍스트 | 1.00배 |
| 제목·목록·표가 필요함 | 마크다운 | 1.07배 |
| HTML 구조 자체를 분석시켜야 함 | HTML 유지 | 1.94배 |
| (피할 것) 워드에서 그대로 복사 | — | 2.87배 |
HTML을 꼭 넣어야 하는 경우는 HTML 구조 자체가 질문의 대상일 때뿐입니다. “이 페이지에서 가격을 뽑아줘”처럼 태그를 봐야 하는 작업이라면 남겨야 하지만, “이 문서를 요약해줘”라면 태그는 순수한 낭비입니다.
재현 코드
import re, tiktoken
enc = tiktoken.get_encoding("o200k_base")
n = lambda t: len(enc.encode(t))
html = open("문서.html", encoding="utf-8").read()
# 스크립트·스타일을 통째로 지운 뒤 태그 제거
clean = re.sub(r"(?s)<(script|style)[^>]*>.*?</\1>", "", html)
clean = re.sub(r"<[^>]+>", "", clean)
clean = "\n".join(l.strip() for l in clean.splitlines() if l.strip())
print("원본 HTML", n(html))
print("태그 제거 ", n(clean))
print("절감 ", n(html) - n(clean),
"(%.0f%%)" % ((1 - n(clean) / n(html)) * 100))한계: 측정에 쓴 문서는 294자짜리 짧은 안내문입니다. 문서가 길어질수록 본문 비중이 커져 배수는 줄어듭니다. 다만 워드 서식은 문단마다 반복되므로 문서가 길어져도 배수가 거의 줄지 않습니다. 또 태그를 지우면 표 구조가 깨질 수 있으니, 표가 중요한 문서는 CSV로 바꾸는 편이 낫습니다.
정리
- 같은 내용도 표기 방식에 따라 최대 2.87배까지 요금이 달라집니다.
- HTML은 1.94배 — 늘어난 분량은 전부 태그이고 내용은 그대로입니다.
- 워드에서 복사한 HTML은 2.87배. 문단마다 글꼴·줄간격이 반복됩니다.
- 마크다운은 1.07배. 구조를 지키면서 비용은 거의 안 늘어납니다.
- 붙여 넣기 전 Ctrl+Shift+V 한 번이면 대부분 해결됩니다.
측정일: 2026년 9월 22일 / tiktoken 0.14.0 / 인코딩 o200k_base
이어서 읽기
