한국어 문장에서 띄어쓰기를 전부 지우면 글자 수가 줄어듭니다. 그러면 AI 요금도 줄어들 것 같은데, 실제로는 19% 늘어납니다.
공백을 아끼겠다고 붙여 쓰는 분들이 실제로 계셔서 직접 재봤습니다. 결과는 정반대였습니다.
결론부터
| 표기 | 글자 수 | 토큰 | 정상 대비 |
|---|---|---|---|
| 정상 띄어쓰기 | 173 | 93 | 1.00배 |
| 띄어쓰기 전부 제거 | 129 | 111 | 1.19배 |
| 글자마다 띄어쓰기 | — | — | 1.47배 |
글자는 44자 줄었는데 토큰은 18개 늘었습니다. AI 요금은 글자 수가 아니라 토큰 수로 매겨지기 때문입니다.
왜 글자를 줄였는데 요금이 오르는가
토크나이저는 자주 쓰이는 덩어리를 통째로 한 토큰에 넣습니다. “보고서를”, “있습니다” 같은 낱말은 학습 데이터에 자주 나오므로 한두 토큰에 들어갑니다.
그런데 띄어쓰기를 지우면 “실적보고서를검토한” 같은 세상에 없는 덩어리가 만들어집니다. 토크나이저는 이걸 아는 조각으로 못 자르니, 글자 단위로 잘게 쪼개 버립니다.
| 입력 | 잘리는 방식 |
|---|---|
보고서를 | 익숙한 낱말 → 1~2토큰 |
실적보고서를검토한 | 낯선 덩어리 → 글자마다 쪼개짐 |
공백 하나는 대개 앞 낱말에 흡수돼 추가 비용이 거의 없습니다. 반면 낱말 경계가 무너지면 그 문장 전체의 토큰 효율이 무너집니다. 공백은 비용이 아니라, 토크나이저에게 주는 힌트입니다.
반대로 너무 띄어도 손해
글자마다 띄어 쓰면 1.47배가 됩니다. 이번엔 모든 글자가 독립된 조각이 되어 덩어리로 묶일 기회가 사라집니다. 강조하려고 “중 요 합 니 다”처럼 쓰는 습관은 요금 관점에서 최악입니다.
정상 띄어쓰기가 양쪽 극단보다 모두 싸다는 것이 이번 측정의 핵심입니다. 맞춤법대로 쓰는 것이 가장 경제적입니다.
흔한 오타는 생각보다 영향이 없다
“할께요”, “설명해주세요” 같은 흔한 오타도 재봤습니다. 정상 18토큰, 오타 17토큰으로 사실상 차이가 없었습니다. 틀린 표기도 인터넷에 워낙 많이 쓰이다 보니 토크나이저가 이미 알고 있는 것입니다.
즉 맞춤법 오타는 요금 문제가 아닙니다. 요금에 영향을 주는 것은 오타가 아니라 낱말 경계가 깨지는 경우입니다.
진짜 위험한 것은 따로 있습니다
같은 글자처럼 보여도 자모가 분리된 형태(NFD)로 저장된 텍스트는 문장에 따라 9~11배까지 뜁니다(이번 측정 문장에서는 9.33배, 앞선 실측에서는 11배). 맥에서 만든 파일이나 일부 시스템에서 받은 데이터에서 자주 발생하고, 화면으로는 구분이 거의 불가능합니다.
영문 혼용과 괄호 병기
| 표기 | 글자 수 | 토큰 | 한글만 대비 |
|---|---|---|---|
한글만 — 인공지능 도입 비용 분석 보고서 | 17 | 9 | 1.00배 |
영문 혼용 — AI 도입 비용 analysis 보고서 | 21 | 7 | 0.78배 |
괄호 병기 — 인공지능(AI) 도입 비용 분석(analysis) 보고서 | 31 | 15 | 1.67배 |
영문 혼용이 오히려 쌉니다. 영어는 한국어보다 토큰 효율이 좋아서, “인공지능”보다 “AI”가 적게 듭니다.
반면 괄호 병기는 1.67배입니다. 같은 뜻을 두 번 쓰니 당연합니다. 보고서 형식상 병기가 필요한 경우가 아니라면, AI에 넣는 텍스트에서는 한쪽만 남기는 것이 낫습니다.
실전 권장안
- 맞춤법대로 띄어 쓰세요. 붙여 쓰면 1.19배, 과하게 띄면 1.47배입니다.
- 오타는 신경 쓰지 않아도 됩니다. 요금에 거의 영향이 없습니다.
- 괄호 병기는 빼세요. 1.67배이고 정보량은 같습니다.
- 널리 쓰는 영어 약어는 그대로 두세요. 한글로 풀어 쓰는 것보다 쌉니다.
- 맥에서 받은 파일은 자모 분리를 의심하세요. 문장에 따라 9~11배까지 벌어집니다.
정리하면 요금을 줄이겠다고 문장을 비틀 필요가 없습니다. 평범하게 맞춤법대로 쓴 문장이 이미 가장 싼 형태입니다. 아껴야 할 것은 공백이 아니라 불필요한 중복과 서식입니다.
재현 코드
import tiktoken
enc = tiktoken.get_encoding("o200k_base")
n = lambda t: len(enc.encode(t))
ok = ("이번 분기 실적 보고서를 검토한 결과 "
"몇 가지 확인이 필요한 항목이 있습니다.")
nospace = ok.replace(" ", "")
print("정상 ", len(ok), "자", n(ok), "토큰")
print("붙여쓰기", len(nospace), "자", n(nospace), "토큰")
print("글자는", len(ok) - len(nospace), "자 줄고",
"토큰은", n(nospace) - n(ok), "개 늘었다")한계: 이 수치는 o200k_base(GPT-4o 이후 계열) 기준입니다. 구세대 cl100k_base에서는 같은 문장이 93토큰이 아니라 162토큰으로, 띄어쓰기에 따른 차이도 다르게 나타납니다. 또 측정 문장은 업무 메일체 한 종류라, 문체나 분야가 다르면 배수가 달라질 수 있습니다.
정리
- 띄어쓰기를 지우면 글자는 줄어도 토큰은 1.19배로 늘어납니다.
- 글자마다 띄어 쓰면 1.47배 — 양쪽 극단이 모두 손해입니다.
- 공백은 비용이 아니라 토크나이저에게 주는 힌트입니다.
- 흔한 맞춤법 오타는 요금에 사실상 영향이 없습니다.
- 괄호 병기는 1.67배, 영문 약어는 오히려 0.78배로 더 쌉니다.
측정일: 2026년 9월 22일 / tiktoken 0.14.0 / 인코딩 o200k_base
이어서 읽기
