Generador de robots.txt y sitemap.xml

Dos archivos pequeños, una misión: guiar a los rastreadores

Los buscadores y otros rastreadores automáticos leen dos archivos antes que nada: robots.txt, que les dice qué pueden y qué no pueden descargar, y sitemap.xml, que enumera las páginas que merece la pena visitar. Ninguno es obligatorio, pero una web pequeña sin ellos deja que los rastreadores adivinen, y un robots.txt mal escrito puede ocultar por accidente toda la web de los resultados de búsqueda. Los dos archivos son texto plano y es fácil equivocarse a mano; esta herramienta los construye a partir de un formulario.

robots.txt

Este archivo va en la raíz de tu dominio, como ejemplo.com/robots.txt, y enumera reglas por agente: a qué rastreador se aplica la regla, qué rutas están prohibidas y cuáles están permitidas de forma explícita. Es una petición, no un candado: los rastreadores respetuosos la siguen, pero no impide que se acceda a una página directamente ni protege datos privados. Úsalo para mantener a los rastreadores lejos de las áreas de administración, las páginas de resultados de búsqueda, el carrito de la compra y el contenido duplicado, y para señalar tu sitemap. Algunos dueños de sitios ahora también quieren bloquear los rastreadores que recopilan datos de entrenamiento para modelos de IA, como GPTBot o Google-Extended, algo que esta herramienta puede añadir con un clic, aparte de las reglas para buscadores.

sitemap.xml

Un sitemap enumera tus páginas en un formato XML sencillo para que un rastreador pueda encontrarlas sin seguir todos los enlaces, lo que ayuda con las páginas nuevas o poco enlazadas. Pega las rutas de tus páginas, o direcciones completas, y la dirección del sitio una vez, y la herramienta construye el archivo, añadiendo de forma opcional una fecha de última modificación, una frecuencia de cambio y una prioridad. Estas tres últimas son pistas, no garantías; los buscadores cada vez ignoran más la frecuencia de cambio y la prioridad y confían en sus propios patrones de rastreo, pero no cuesta nada incluirlas y algunas herramientas todavía las leen.

Límites

Un solo archivo de sitemap no debe enumerar más de 50.000 direcciones; los sitios grandes dividen sus páginas en varios archivos de sitemap listados en un índice de sitemaps, algo que va más allá de lo que produce este generador sencillo. Las reglas de robots.txt son orientativas solo para los rastreadores que las cumplen. Todo aquí se construye en tu navegador; no se sube nada hasta que colocas los archivos en tu propio servidor.