the IT Hustle
HerramientasManual de campoAcerca de

Robots.txt y Sitemap

Genera archivos robots.txt y sitemaps XML con validación y sugerencias de mejores prácticas.

Gratis
Ajustes preestablecidos rápidos
Reglas activas
All BotsALLOW
/
All BotsDISALLOW
/admin/
/api/
/private/
Agregar regla
Opciones
robots.txt Output
# Generated by The IT Hustle -- the-it-hustle.com
# robots.txt

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /

Sitemap: https://example.com/sitemap.xml
Deployment:
1. Download or copy the file above
2. Save as robots.txt in your site's root directory
3. Verify at your-site.com/robots.txt
4. Test in Google Search Console robots.txt Tester

Cómo generar Robots.txt y sitemaps

Crea robots.txt y sitemaps XML para mejorar el SEO con el generador gratuito de The IT Hustle.

  1. 1
    Introduce la URL de tu sitioEscribe la URL base de tu sitio web para generar automáticamente las rutas correctas.
  2. 2
    Configura las reglas de rastreoDefine reglas de permitir/denegar para distintos bots (Googlebot, Bingbot, etc.) y especifica el crawl-delay.
  3. 3
    Añade las URLs del sitemapIntroduce las URLs de tus páginas para generar un sitemap XML, o pega una lista de URLs para generación masiva.
  4. 4
    Descarga los archivosDescarga tus archivos robots.txt y sitemap.xml listos para subir al directorio raíz de tu sitio.

Preguntas frecuentes

Robots.txt es un archivo de texto en el directorio raíz de tu sitio web que indica a los rastreadores de motores de búsqueda a qué páginas pueden y no pueden acceder. Ayuda a gestionar el presupuesto de rastreo y evitar la indexación de páginas privadas.

Sí, idealmente. Robots.txt controla lo que los rastreadores pueden acceder, mientras que un sitemap les indica proactivamente qué páginas existen. Juntos, le dan a los motores de búsqueda la imagen más clara de tu sitio.

Ambos archivos van en el directorio raíz de tu sitio web. Robots.txt debe estar en tudominio.com/robots.txt y el sitemap en tudominio.com/sitemap.xml (referenciado en tu robots.txt).

Herramientas relacionadas

Generador de Meta TagsVerificador SEOGenerador de .gitignore