Les tokens – et pourquoi ça coûte de l'argent
Les tokens sont les petits morceaux de texte qu'une IA traite – et c'est souvent ce que tu payes.
Qu'est-ce qu'un token ?
Un token est un morceau de texte – souvent un mot, une partie de mot, ou un signe de ponctuation. « Chat » peut être un seul token, « incroyable » sera peut-être coupé en deux ou trois morceaux. Un LLM ne lit et n'écrit pas en lettres, mais en tokens.
Règle simple
En français, environ 4 caractères correspondent à peu près à un token. Un mot fait souvent 1 à 2 tokens. Un paragraphe normal atteint vite 100 tokens et plus.
Pourquoi ça coûte de l'argent ?
La plupart des fournisseurs d'IA facturent au token – séparément pour l'« input » (ce que tu envoies) et l'« output » (ce que l'IA écrit en retour). Plus de contexte, des prompts plus longs, des réponses plus longues = plus de tokens = plus cher. C'est pour ça qu'il vaut mieux garder tes prompts précis et ne pas envoyer des fichiers inutilement longs.
Conséquence pratique
Quand tu travailles avec un agent de coding qui lit des fichiers entiers, ça consomme des tokens. Balancer un fichier de 10 000 lignes « comme ça » peut être lent et cher – il vaut mieux partager seulement les passages pertinents.
EXEMPLE
La phrase « J'adore programmer ! » fait environ 6 tokens (J' | adore | programm | er | !).
QUIZ RAPIDE
De quoi dépend le prix de la plupart des API d'IA ?
SOURCES
- Wikipédia : Tokenisation ↗ fr.wikipedia.org
- Doc Anthropic : Comptage des tokens ↗ docs.anthropic.com
- OpenAI Cookbook : compter les tokens avec tiktoken ↗ cookbook.openai.com