이 페이지에서는 토큰과 토크나이저가 무엇인지, 그리고 Solar 모델 요청의 토큰 수를 어떻게 세는지 알아봐요.
토큰과 토크나이저란?
토큰 은 모델이 개별적으로 처리하는 텍스트 조각으로, 단어, 부분 단어, 혹은 문자 단위가 될 수 있어요. 토크나이제이션은 텍스트를 토큰 단위로 나누는 과정이며, 이를 수행하는 도구나 알고리즘이 바로 토크나이저 예요. 토크나이저는 원시 텍스트를 토큰 시퀀스로 변환하고, 모델은 이 시퀀스를 학습이나 추론에 사용해요. 토크나이저는 입력 텍스트를 효율성과 정확도가 균형 잡힌 방식으로 분리해 LLM 이 의미 있고 일관된 응답을 생성할 수 있도록 도와줘요.
모델의 컨텍스트 길이
Solar 모델에 보내는 요청은 토큰으로 인코딩되어 모델에 전달되고 출력이 생성돼요. Solar 모델에는 한 번에 처리할 수 있는 최대 토큰 수에 제한이 있으며, 이를 컨텍스트 길이 라고 불러요. 자세한 한도는 Chat 페이지의 context length 컬럼을 참고해주세요.
텍스트 생성 모델(Chat, Translation, Groundedness Check)의 경우 컨텍스트 길이는 입력 토큰과 출력 토큰을 모두 포함해요. 예를 들어 모델의 컨텍스트 길이가 4096이고 입력 길이가 3096이라면, 최대 1000개의 토큰을 생성할 수 있어요. 따라서 원하는 출력을 생성하려면 한 번에 적절한 양의 토큰을 요청해야 해요. 입력 토큰과 max_tokens 의 합이 모델의 컨텍스트 길이를 초과하면 400 상태 코드를 받게 돼요.
임베딩 모델의 경우 컨텍스트 길이에는 입력 토큰만 포함돼요. 입력 토큰 수는 모델의 컨텍스트 길이보다 작거나 같아야 해요.
모델과 요청 내용에 따라 모델로 전달되기 전에 추가 토큰이 덧붙을 수도 있어요. 자세한 내용은 이 노트북을 확인해주세요.
토큰을 세는 방법
HuggingFace Tokenizers 파이썬 라이브러리를 사용해 요청의 토큰 수를 셀 수 있어요.
라이브러리 설치
토큰 카운팅과 토큰 자르기
아래는 토크나이저와 해당 토크나이저가 지원하는 모델 목록이에요.
| 토크나이저 | 모델 |
|---|---|
| upstage/solar-pro4-tokenizer | • solar-pro4 • solar-mini4 |
| upstage/solar-pro2-tokenizer | • syn-pro |
| upstage/solar-1-mini-tokenizer | • embedding-query • embedding-passage |