¿Qué es un token en inteligencia artificial?

Si buscas «tokens» te saldrán criptomonedas, NFT y los tokens de acceso que te pide una aplicación para conectarse a tu tienda. Aquí hablamos de otra cosa: la unidad en la que un modelo de lenguaje lee, escribe y cobra. A una tienda le importa en cuanto usa una herramienta que redacta fichas con un LLM (modelo de lenguaje grande) y su propia clave de API, porque la factura y los límites llegan en tokens, y también cuando un asistente lee tu página, porque lo que cabe de ella se mide igual.

Cómo funciona

OpenAI lo explica con un ejemplo: los tokens son secuencias de caracteres que aparecen con frecuencia. La palabra inglesa tokenization se parte en dos, «token» e «ization», mientras que una palabra corta y común como the es un solo token. En una frase, el primer token de cada palabra suele empezar con el espacio que la precede.⁠^{[1]OpenAI, documentación de la API. Key concepts} Por eso un modelo no ve letras sueltas ni palabras enteras: ve trozos, y las palabras largas o poco frecuentes se parten en más trozos que las cortas y habituales.

Para hacer cuentas rápidas, las dos documentaciones dan la misma regla aproximada. OpenAI: un token son unos 4 caracteres o 0,75 palabras en un texto en inglés.⁠^{[1]OpenAI, documentación de la API. Key concepts} Google: un token son unos 4 caracteres, y 100 tokens equivalen a entre 60 y 80 palabras en inglés.⁠^{[2]Google AI for Developers, documentación de la API de Gemini (actualizada el 23 de septiembre de 2026). Understand and count tokens} Las dos lo dicen del inglés. Para un catálogo en español, la cifra buena es la que te dé el contador del modelo que usas, no la regla.

No todo lo que se cuenta es texto. Gemini convierte también las imágenes, el vídeo y el audio en tokens: 258 tokens por imagen si no pasa de 384 píxeles por lado; las más grandes se dividen en teselas de 768 × 768 píxeles y cada una cuesta otros 258. El vídeo ronda los 100 tokens por segundo y el audio, 32 por segundo.⁠^{[2]Google AI for Developers, documentación de la API de Gemini (actualizada el 23 de septiembre de 2026). Understand and count tokens} Las fotos de producto que mandas a un modelo para que las describa también cuentan.

Y cada modelo trocea a su manera. Anthropic avisa de que el tokenizador de sus modelos más recientes produce en torno a un 30 % más de tokens con el mismo texto que el de los anteriores, y pide volver a contar con el modelo que vas a usar en lugar de reutilizar cuentas antiguas. Añade que su recuento previo es una estimación y que el consumo real puede variar un poco.⁠^{[3]Anthropic, documentación de Claude. Token counting}

Por qué cuentan: el límite y la factura

El primer motivo es el espacio. En un modelo que genera texto, la petición y la respuesta juntas no pueden pasar de la longitud máxima de contexto del modelo.⁠^{[1]OpenAI, documentación de la API. Key concepts} Ese máximo es la ventana de contexto, y se mide en tokens. Los modelos de embeddings, que convierten un texto en un vector para buscar por significado, tienen el suyo: en los de OpenAI, la entrada admite como mucho 8192 tokens.⁠^{[4]OpenAI, documentación de la API. Vector embeddings}⁠^{[1]OpenAI, documentación de la API. Key concepts}

El segundo es el dinero. OpenAI publica sus precios por millón de tokens, con columnas separadas para los tokens de entrada, los de entrada en caché y los de salida.⁠^{[5]OpenAI, documentación de la API. Pricing} Anthropic presenta su contador de tokens precisamente como una forma de controlar los costes y los límites de uso antes de enviar nada.⁠^{[3]Anthropic, documentación de Claude. Token counting} En la práctica, una descripción de producto larga cuesta más dos veces: al leerla y al escribirla.

En una tienda

Un ejemplo ficticio: una tienda pide a un modelo, con su propia clave de API, que redacte la descripción de una mochila. Esto es lo que consume tokens en esa petición, y quién lo cuenta:

Multiplica eso por cada producto del catálogo y por cada vez que lo regeneras, y la cuenta deja de ser un detalle técnico. Por eso conviene que una herramienta limite el contexto que manda en cada petición. Clione, por ejemplo, trabaja con el modelo y la clave de API que configura la tienda y, cuando la tienda lo activa, adjunta al prompt de cada producto los cuatro fragmentos más relevantes de sus documentos, unos 1.200 tokens.

Cómo comprobarlo

1. Pega una de tus fichas en el tokenizador de OpenAI y mira cómo la parte: qué palabras quedan enteras y cuáles se dividen. La propia documentación lo enlaza para probar textos concretos.⁠^{[1]OpenAI, documentación de la API. Key concepts}
2. Cuenta antes de enviar. Anthropic tiene un recuento de tokens gratuito que acepta el mismo contenido que una petición, imágenes y PDF incluidos, y Gemini tiene count_tokens.⁠^{[3]Anthropic, documentación de Claude. Token counting}⁠^{[2]Google AI for Developers, documentación de la API de Gemini (actualizada el 23 de septiembre de 2026). Understand and count tokens}
3. Lee el campo de uso de cada respuesta. Gemini devuelve ahí los tokens de entrada, de salida, de razonamiento y en caché de esa petición.⁠^{[2]Google AI for Developers, documentación de la API de Gemini (actualizada el 23 de septiembre de 2026). Understand and count tokens}
4. Calcula el coste con la tabla de precios, por millón de tokens y con la entrada y la salida por separado.⁠^{[5]OpenAI, documentación de la API. Pricing}
5. Si cambias de modelo, vuelve a contar. El mismo texto puede dar bastantes más tokens con otro tokenizador.⁠^{[3]Anthropic, documentación de Claude. Token counting}

Concepto cercano: ventana de contexto

El token es la unidad; la ventana de contexto es la capacidad, medida en esa unidad. Un modelo con una ventana de un millón de tokens no lee un millón de palabras: lee un millón de trozos, y en ellos caben las instrucciones, lo que le das a leer y también la respuesta que escribe.⁠^{[1]OpenAI, documentación de la API. Key concepts} Por eso, cuando un asistente parte tu página en fragmentos para recuperarla, esos fragmentos se miden en tokens, como cuenta la entrada de RAG (generación aumentada por recuperación).

Para seguir, la entrada de la ventana de contexto explica qué pasa cuando un texto no cabe, y la ruta de lectura ordena el resto de términos.