워드에서 복사하면 요금이 2.87배 — 표기 방식별 토큰 비용 실측
웹페이지나 워드 문서를 복사해 AI에 그대로 붙여 넣은 적 있으실 겁니다. 눈에 보이는 글자는 똑같은데 요금은 최대 2.87배가 나옵니다. 보이지 않는 태그가 같이 딸려 오기 때문입니다. 같은 내용의 문서 하나를 플레인텍스트·마크다운·HTML·워드에서 복사한 HTML 네 가지로 만들어 직접 재봤습니다. 결론부터 표기 방식 글자 수 토큰 플레인 대비 플레인텍스트 294 179 1.00배 마크다운 320 192 1.07배 HTML…
글자 수로 토큰을 맞출 수 있을까 — 추정식 3종 검증과 계산기 공개
“한국어는 글자 수 × 0.58쯤이 토큰이다” — 저희도 이렇게 써 왔습니다. 그런데 그 추정이 실제로 얼마나 맞는지는 재본 적이 없었습니다. 이번에 재봤습니다. 결론부터 말하면 생각보다 많이 틀립니다. 그리고 더 정교한 식을 만들어도 한계가 분명했습니다. 측정 조건 학습셋에서만 잰 오차는 의미가 없어서 반드시 나눴습니다. 실제로 같은 식이 학습셋에서는 8.1%, 검증셋에서는 13.5%로 벌어졌습니다. 결론부터 추정…
긴 문서 어떻게 잘라야 싼가 — 분할 전략별 총비용 실측
긴 문서가 컨텍스트 한도를 넘으면 잘라서 넣어야 합니다. 그런데 어떻게 자르느냐에 따라 총비용이 1.5배까지 차이납니다. 고정 길이로 자를지 문단 단위로 자를지, 겹침을 둘지, 조각마다 설명을 붙일지 — 각각의 비용을 직접 측정했습니다. 결론은 의외로 단순했습니다. 결론부터 전략 총 토큰 최소 대비 문단 단위로 자르기 455 100% 300자 고정, 겹침 없음 458 101% 문단 단위 + 짧은…
표 데이터 53% 싸게 넣는 법 — 숫자·날짜 표기 실측
앞선 측정에서 숫자와 날짜가 글자당 토큰이 가장 비싸다는 결과가 나왔습니다(0.73토큰/자, 일반 문장은 0.47). 그래서 더 파고들었습니다. 같은 숫자와 날짜라도 어떻게 적느냐에 따라 토큰이 3배까지 달라집니다. 매출표나 로그를 AI에 넣는 분들에게는 바로 돈이 되는 이야기입니다. 100행짜리 표에서 표기만 바꿔 53%를 절감한 측정 결과를 정리했습니다. 결론부터 — 100행 매출표 날짜와 금액이 들어간 100행 데이터를 네 가지 표기로…
PDF에서 복사한 텍스트가 토큰을 3배 먹는다 — 숨은 문자 실측
보고서 PDF를 열어 내용을 복사하고 AI에 붙여 넣습니다. 누구나 하는 일입니다. 그런데 그 순간 보이지 않는 비용이 따라 들어옵니다. 복사 과정에서 섞여 들어오는 것들이 토큰을 얼마나 늘리는지 직접 측정했습니다. 가장 심한 경우 3.26배였고, 원인은 화면에 전혀 보이지 않는 문자였습니다. 측정 결과 같은 내용(한국어 218자)에 복사 과정에서 흔히 생기는 오염을 하나씩 적용해 측정했습니다. 상태 글자 수…
코드를 AI에 넣을 때 — 언어별 토큰 비용 3.4배 차이 실측
코드를 AI에게 검토시키거나 설명을 받을 때, 프로젝트 파일을 통째로 붙여 넣는 경우가 많습니다. 그런데 같은 기능이라도 언어에 따라 토큰이 3배 넘게 차이납니다. 같은 동작을 하는 코드를 5개 언어로 작성해 직접 측정했습니다. 측정 결과 “두 수를 더하는 함수를 만들고 1+2를 출력한다”는 동일한 기능을 각 언어의 관용적인 방식으로 작성했습니다. 언어 토큰 글자 수 글자당 토큰 최소 대비…
AI 대화가 길어지면 비용이 25배 — 누적 토큰 실측
AI와 대화를 이어가다 보면 어느 순간 답변이 느려지고, API를 쓰는 경우라면 요금이 예상보다 많이 나옵니다. 이유는 단순합니다. 대화는 매 턴마다 지금까지의 전체 내용을 다시 전송합니다. 이게 비용에 얼마나 영향을 주는지 직접 계산해봤습니다. 결론부터 말하면 20턴 대화는 25배입니다. AI는 기억하지 않는다 — 매번 다시 읽는다 많은 분이 오해하는 지점입니다. AI가 앞의 대화를 “기억”하는 것처럼 보이지만, 실제로는…
한국어 AI 토큰 비용 종합 참고표 — 실측 수치 한 페이지 정리
이 페이지는 저희가 직접 측정한 한국어 AI 토큰 비용 데이터를 한 곳에 모은 참고표입니다. 필요한 항목을 바로 찾아 쓰시라고 만들었습니다. 모든 수치는 tiktoken 0.14.0의 o200k_base 인코딩으로 직접 측정한 값입니다. 각 항목의 측정 방법과 재현 코드는 연결된 글에 있습니다. 1. 가장 자주 찾는 숫자 항목 값 한국어 글자당 평균 토큰 0.54 (문서 평균 0.58) 한국어 1,000자…
똑같아 보이는 한글이 토큰을 11배 쓴다 — 자모 분리(NFD) 실측
화면에 똑같이 “안녕하세요”라고 보이는 두 텍스트가 있습니다. 복사해 붙여 넣으면 구별이 안 됩니다. 그런데 하나는 2토큰이고 다른 하나는 36토큰입니다. 18배 차이입니다. 한글 유니코드 정규화 문제입니다. 알고 나면 간단하지만 모르면 원인을 찾을 수 없습니다. 직접 측정한 결과를 정리했습니다. 먼저 결론 텍스트 NFC (정상) NFD (분리) 배수 안녕하세요 2 토큰 36 토큰 18.0배 인공지능 기술이 빠르게 발전하고…
토큰 아끼려다 더 쓴다 — 흔한 절약법 3가지 실측 검증
AI 요금을 아끼려고 프롬프트를 영어로 바꾸거나, 짧게 줄여 쓰거나, 띄어쓰기를 빼는 분들이 있습니다. 세 가지 모두 측정해봤더니 효과가 없거나 오히려 손해였습니다. 흔한 절약법 세 가지를 직접 재본 결과입니다. 수치는 전부 실측값이고 재현 코드는 아래에 있습니다. 통념 1. “영어로 쓰면 토큰이 절약된다” → 거의 효과 없음 한국어가 영어보다 토큰을 더 쓰는 것은 사실입니다. 그래서 프롬프트를 영어로…