llm token

ChatGPT나 Claude 같은 AI 모델을 사용하다 보면 '토큰(token)'이라는 말을 자주 접하게 됩니다. "몇 토큰을 사용했습니다", "토큰 제한에 걸렸습니다" 같은 메시지를 보신 적 있나요?사람의 눈에는 글자나 단어 단위로 보이는 텍스트도, AI의 눈에는 전혀 다르게 보입니다.사람의 눈 vs AI의 눈[사람의 눈]"나는 인공지능이 좋아요"→ '나는', '인공지능이', '좋아요' (3개의 단어)[AI의 눈]"나는 인공지능이 좋아요"→ '나는', ' 인', '공지', '능', '이, ' 좋아', '요' (7개의 토큰)토큰(Token)이란?토큰은 AI가 텍스트를 이해하는 '기본 단위'입니다. 우리가 글을 읽을 때 단어나 글자 단위로 읽는 것처럼, AI는 토큰 단위로 텍스트를 처리합니다.왜 토큰 수가..