tag: Tokenization · 2건
- 근거: AI/LLM 개발 시 토큰 수 계산에 쓰는 CLI 도구로 개발자 도구 + AI/LLM 관심 분야에 해당
- 액션: https://github.com/simonw/ttok 확인 후
cat file.txt | uvx ttok로 빠른 토큰 카운팅 활용법 익혀두기
- 근거: AI/LLM 분야 — Claude의 토큰/어휘 구조에 대한 기술적 분석
- 액션: https://louisabraham.github.io/load-bearing/ 읽고 Claude의 load-bearing vocabulary 개념 파악하기