Si ingresas a la consola de Tokenizer de OpenAI y con el texto de ejemplo que ahí te dan en inglés lo pasas a español verás que consume muchos más tokens.
Mismo significado. Misma intención. Misma complejidad, pero más tokens y por ende más costoso.
De hecho puede llegar a ser hasta un 50% más costoso, y no es un caso aislado.
Te explico.
Cada vez que tu app/agente llama a un LLM en español, estás pagando un "impuesto de idioma" que casi nadie te dice. Para el español el promedio queda entre 1.3x y 1.5x más tokens que el equivalente en inglés.
De hecho en un artículo que encontré hablan de un agente que solo por responder en español cuesta un 15% más, te cuento más de eso aquí.
Lo curioso es que podría ser mucho peor, para chino o hindi, el factor llega a 2x-4x.
Hagamos cuentas, si tienes un agente que procesa 100K mensajes al mes, ese diferencial no es teórico, pueden llegar a ser cientos de dólares al año.
Eso pasa porque los LLMs no leen palabras, leen tokens. Y los tokens los define el tokenizer, una pieza separada del modelo que parte el texto en unidades usando BPE (Byte Pair Encoding).
El detalle clave: cada tokenizer se entrena con un corpus, y ese corpus está dominado por inglés. Resultado:
- Inglés: ~4 caracteres por token
- Español: ~3 caracteres por token
- Chino: ~2 caracteres por token
Una razón más para voltear a mirar los modelos del gigante asiático y la infraestructura local para ejecutar modelos open source, de esa forma los costos cambian completamente.
Justo hoy estrené un video sobre esto, donde te cuento todo lo que necesitas saber sobre la tokenización de los modelos de IA.
¿Qué es la tokenización en LLMs? (y por qué te sale más cara en español)
Con esto no solo vas a ahorrar tokens si no que vas a dominar un concepto fundamental en esta "nueva era".
Estaré esperando tu comentario en ese video.
Esta semana también estrené otro video de una serie que estoy creando sobre los Juniors devs y las dificultades que enfrentan a la hora de encontrar su primer empleo.
Primer Trabajo Programador: Lo que piden 100 ofertas reales en 2026 (2/4)
Cualquier cosa que me quieras decir, la leeré con atención.