주소창에서 복사한 한글 URL이 토큰을 3.78배 먹는다 — URL·경로 실측
AI에게 “이 페이지 요약해 줘”라며 주소를 붙여 넣거나, 오류를 물으며 스택 트레이스를 통째로 넣는 일은 흔합니다. 그 주소와 경로가 몇 토큰인지 재봤습니다. 가장 큰 건 한글 주소였습니다. 브라우저 주소창에서 복사하면 3.78배가 됩니다. 측정 조건 ① 한글 주소가 인코딩되면 3.78배 한글이 들어간 주소는 그대로 보면 멀쩡한데, 브라우저 주소창에서 복사하면 퍼센트 인코딩된 형태가 붙습니다. 같은 주소인데 23토큰…
로그 붙여넣기의 절반은 낭비다 — UUID·타임스탬프 토큰 실측
에러가 나면 로그를 통째로 복사해 AI에 붙여 넣게 됩니다. 그런데 그 로그의 절반 이상이 AI가 읽을 필요 없는 문자열입니다. 서버 로그 7줄을 놓고 어느 부분이 토큰을 먹는지 하나씩 지워가며 재봤습니다. 결과는 꽤 극단적이었습니다. 결론부터 처리 토큰 원본 대비 원본 그대로 489 100% 타임스탬프만 제거 383 78% req_id(UUID)만 제거 254 52% 둘 다 제거 148 30%…
시스템 프롬프트가 요금의 95%를 먹는다 — 반복 비용 실측
API로 챗봇이나 자동화를 만들면 시스템 프롬프트가 매 호출마다 따라갑니다. 한 번은 작아 보이는데, 호출 수를 곱하면 이야기가 달라집니다. 얼마나 달라지는지 직접 재봤습니다. 결론: 호출당 입력 토큰의 95%가 시스템 프롬프트였습니다. 사용자가 실제로 물어본 내용은 5%였습니다. 측정 조건 결론부터 시스템 프롬프트 토큰 호출 1회 합계 시스템 비중 짧게 (한 줄) 23 45 51% 보통 (규칙 5줄 +…
예시 5개가 지시문의 19배를 먹는다 — few-shot 토큰 비용 실측
“예시를 몇 개 넣어라”는 조언은 많습니다. 그런데 예시 하나가 몇 토큰인지는 아무도 알려주지 않습니다. 예시는 시스템 프롬프트에 들어가니 매 호출마다 전액 다시 전송됩니다. 재봤습니다. 예시 5개를 자세히 쓰면 지시문의 19배가 됩니다. 지시문 12토큰에 예시 219토큰이 붙어서, 전체의 95%가 예시입니다. 측정 조건 세 형식은 이렇게 다릅니다. 예시 1개가 몇 토큰인가 형식 평균 최소 최대 자세히 (이유까지…
띄어쓰기를 지웠더니 요금이 올랐다 — 한국어 표기별 토큰 실측
한국어 문장에서 띄어쓰기를 전부 지우면 글자 수가 줄어듭니다. 그러면 AI 요금도 줄어들 것 같은데, 실제로는 19% 늘어납니다. 공백을 아끼겠다고 붙여 쓰는 분들이 실제로 계셔서 직접 재봤습니다. 결과는 정반대였습니다. 결론부터 표기 글자 수 토큰 정상 대비 정상 띄어쓰기 173 93 1.00배 띄어쓰기 전부 제거 129 111 1.19배 글자마다 띄어쓰기 — — 1.47배 글자는 44자 줄었는데 토큰은…
이모지가 토큰의 21%를 먹는다 — 카톡 대화·특수기호 비용 실측
카톡 대화나 슬랙 로그를 그대로 AI에 붙여 넣는 일이 많습니다. 그 안의 이모지가 토큰을 얼마나 먹는지 재봤습니다. 결론부터 말하면 대화 한 토막에서 이모지가 토큰의 21%를 차지했습니다. 측정 조건 이모지 한 개에 몇 토큰인가 이모지 토큰 메모 😀 🔥 ✅ 👍 🎉 💡 🚀 👏 😂 1 흔한 이모지는 대부분 1토큰 ⚠️ ❤️ 1 글자로는 2자인데…
‘~해 주시기 바랍니다’가 지시문을 2배로 만든다 — 조사·어미 토큰 실측
한국어가 영어보다 토큰을 1.4~1.6배 쓴다는 건 전에 재봤습니다. 그런데 왜 그런지는 안 재봤습니다. 이번에는 조사와 어미가 토큰을 어떻게 쪼개는지 들여다봤습니다. 예상과 다른 게 두 개 나왔습니다. 조사는 글자 수와 상관없이 대개 1토큰씩 붙고, 어미는 길게 쓸 때 오히려 더 싼 경우가 있었습니다. 측정 조건 ① 조사는 글자 수와 무관하게 1토큰 같은 명사에 조사만 바꿔 붙여…
워드에서 복사하면 요금이 2.87배 — 표기 방식별 토큰 비용 실측
웹페이지나 워드 문서를 복사해 AI에 그대로 붙여 넣은 적 있으실 겁니다. 눈에 보이는 글자는 똑같은데 요금은 최대 2.87배가 나옵니다. 보이지 않는 태그가 같이 딸려 오기 때문입니다. 같은 내용의 문서 하나를 플레인텍스트·마크다운·HTML·워드에서 복사한 HTML 네 가지로 만들어 직접 재봤습니다. 결론부터 표기 방식 글자 수 토큰 플레인 대비 플레인텍스트 294 179 1.00배 마크다운 320 192 1.07배 HTML…
글자 수로 토큰을 맞출 수 있을까 — 추정식 3종 검증과 계산기 공개
“한국어는 글자 수 × 0.58쯤이 토큰이다” — 저희도 이렇게 써 왔습니다. 그런데 그 추정이 실제로 얼마나 맞는지는 재본 적이 없었습니다. 이번에 재봤습니다. 결론부터 말하면 생각보다 많이 틀립니다. 그리고 더 정교한 식을 만들어도 한계가 분명했습니다. 측정 조건 학습셋에서만 잰 오차는 의미가 없어서 반드시 나눴습니다. 실제로 같은 식이 학습셋에서는 8.1%, 검증셋에서는 13.5%로 벌어졌습니다. 결론부터 추정…
긴 문서 어떻게 잘라야 싼가 — 분할 전략별 총비용 실측
긴 문서가 컨텍스트 한도를 넘으면 잘라서 넣어야 합니다. 그런데 어떻게 자르느냐에 따라 총비용이 1.5배까지 차이납니다. 고정 길이로 자를지 문단 단위로 자를지, 겹침을 둘지, 조각마다 설명을 붙일지 — 각각의 비용을 직접 측정했습니다. 결론은 의외로 단순했습니다. 결론부터 전략 총 토큰 최소 대비 문단 단위로 자르기 455 100% 300자 고정, 겹침 없음 458 101% 문단 단위 + 짧은…