토큰

토큰은 LLM이 텍스트를 처리하는 최소 단위로, 영어는 대략 단어 하나가 1~1.5토큰이지만 한글은 음절 단위로 더 잘게 쪼개지는 경향이 있어 같은 분량의 글이라도 영어보다 토큰을 더 많이 소모하는 비효율이 있다. API 요금은 대부분 입력·출력 토큰 수에 비례해 과금되므로, 한국어 서비스를 운영할 때는 이 토큰 비효율을 감안한 비용 설계가 필요하다. 컨텍스트 윈도우의 한도 역시 토큰 단위로 정해지기 때문에, 같은 창 크기라도 한국어 문서는 영어 문서보다 실질적으로 담을 수 있는 분량이 더 적다는 점을 실무에서 유의해야 한다.

실무 적용 및 비즈니스 영향#

API 비용 계산 컨텍스트 윈도우 한도 모델 처리 속도를 결정하는 기본 단위

구현 가이드 및 주의사항#

한글은 영문 대비 토큰 소모량이 많으므로 마크다운 요약이나 효율적 토크나이저 활용