Tokens: por qué cuestan dinero
Los tokens son los trocitos de texto que procesa una IA, y por los que normalmente pagas.
¿Qué es un token?
Un token es un trozo de texto, a menudo una palabra, una sílaba o un signo de puntuación. "Gato" puede ser un token; "increíble" quizá se divide en dos o tres partes. Un LLM no lee ni escribe en letras, sino en tokens.
Regla práctica
En español y en inglés, unos 4 caracteres equivalen aproximadamente a un token. Una palabra suele ser 1-2 tokens. Un párrafo normal de texto llega rápido a más de 100 tokens.
¿Por qué cuesta dinero?
La mayoría de proveedores de IA cobran por token, por separado para "input" (lo que envías) y "output" (lo que la IA te devuelve). Más contexto, prompts más largos, respuestas más largas significan más tokens, y más tokens significan más coste. Por eso vale la pena mantener los prompts precisos y no enviar archivos innecesariamente largos.
Consecuencia práctica
Si trabajas con un agente de código que lee archivos enteros, eso consume tokens. Meter sin más un archivo de 10.000 líneas puede ser caro y lento; suele ser mejor compartir solo las partes relevantes.
EJEMPLO
La frase 'Me encanta programar' son unos 5 tokens (Me | encanta | program | ar | !).
QUIZ RÁPIDO
¿De qué depende normalmente el coste en la mayoría de APIs de IA?
FUENTES
- Wikipedia: Tokenización ↗ de.wikipedia.org
- Documentación de Anthropic: Conteo de tokens ↗ docs.anthropic.com
- OpenAI Cookbook: Contar tokens con tiktoken ↗ cookbook.openai.com