Contador de tokens

¿Cuántos tokens tiene mi texto?

Los modelos de lenguaje de IA no leen letras ni palabras sino tokens, trozos de texto que pueden ser una palabra común entera, parte de una palabra más larga, un número o un símbolo. Los prompts, los documentos y las respuestas se miden en tokens. Los límites, como cuánto puede admitir un modelo de una vez, y los precios también se fijan en tokens. Saber más o menos cuántos tokens usa un texto ayuda a comprobar que cabe en una ventana de contexto y a estimar cuánto costará una petición.

Una estimación, no un recuento exacto

Cada familia de modelos tiene su propio tokenizador, así que el recuento exacto del mismo texto es distinto entre ellas. Esta herramienta no ejecuta ninguno de esos tokenizadores. Estima a partir del número de caracteres y de palabras, con proporciones típicas: unos cuatro caracteres por token en prosa en inglés, menos en español y otras lenguas con palabras más largas y con tildes, y menos aún en código y JSON, donde los símbolos y los nombres cortos cuestan más. Te da un valor más probable y un rango a su alrededor. Para una cifra exacta, usa el tokenizador o la función de recuento de tokens de tu proveedor.

Qué puedes hacer con ella

• Comprobar un límite de contexto. Fija el tamaño de la ventana, o elige uno habitual, y mira qué parte usa tu texto y cuántos tokens quedan, recordando que la respuesta también necesita sitio.
• Estimar un coste. Escribe el precio de entrada por millón de tokens y obtén el coste de enviar este texto una vez.
• Recortar un prompt. Ver el tamaño mientras editas es una forma rápida de reducir un prompt largo hasta un presupuesto.

Reglas prácticas

En inglés, un token es unos tres cuartos de palabra, así que 100 tokens son más o menos 75 palabras. El texto en chino, japonés y coreano suele costar cerca de un token por carácter o algo más, cosa que la herramienta tiene en cuenta. Los números, las URL, las palabras raras y los formatos inusuales se dividen en muchos tokens, así que un texto lleno de ellos es más grande de lo que parece.

Límites

Como es una estimación, deja un margen de seguridad, por ejemplo del diez al veinte por ciento, cuando estés cerca de un límite. El recuento no incluye las partes ocultas de una petición real, como las instrucciones del sistema, las definiciones de herramientas o el formato de la conversación. Tu texto se analiza en tu navegador y no se sube. Para convertir tokens en dinero de una aplicación entera, usa la calculadora de coste de API de IA.