the IT Hustle
OutilsManuel de terrainÀ propos

Robots.txt & Sitemap

Générez des fichiers robots.txt et des sitemaps XML avec validation et suggestions de bonnes pratiques.

Gratuit
Préréglages rapides
Règles actives
All BotsALLOW
/
All BotsDISALLOW
/admin/
/api/
/private/
Ajouter une règle
Options
robots.txt Output
# Generated by The IT Hustle -- the-it-hustle.com
# robots.txt

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /

Sitemap: https://example.com/sitemap.xml
Deployment:
1. Download or copy the file above
2. Save as robots.txt in your site's root directory
3. Verify at your-site.com/robots.txt
4. Test in Google Search Console robots.txt Tester

Comment générer un Robots.txt et un Sitemap

Créez un robots.txt et des sitemaps XML pour un meilleur SEO avec le générateur gratuit de The IT Hustle.

  1. 1
    Saisissez l'URL de votre siteSaisissez l'URL de base de votre site web pour générer automatiquement les chemins corrects.
  2. 2
    Configurez les règles d'explorationDéfinissez les règles d'autorisation/interdiction pour différents robots (Googlebot, Bingbot, etc.) et spécifiez le délai d'exploration.
  3. 3
    Ajoutez les URL du sitemapSaisissez les URL de vos pages pour générer un sitemap XML, ou collez une liste d'URL pour une génération en masse.
  4. 4
    Téléchargez les fichiersTéléchargez vos fichiers robots.txt et sitemap.xml prêts à être déposés à la racine de votre site.

Questions fréquentes

Robots.txt est un fichier texte situé à la racine de votre site qui indique aux robots d'exploration des moteurs de recherche quelles pages ils peuvent ou non consulter. Il aide à gérer le budget d'exploration et à empêcher l'indexation de pages privées.

Oui, idéalement. Robots.txt contrôle ce que les robots peuvent explorer, tandis qu'un sitemap leur indique proactivement les pages existantes. Ensemble, ils donnent aux moteurs de recherche la vision la plus claire de votre site.

Les deux fichiers vont à la racine de votre site. Robots.txt doit se trouver à votredomaine.com/robots.txt et le sitemap à votredomaine.com/sitemap.xml (référencé dans votre robots.txt).

Outils associés

Générateur de balises metaVérificateur SEOGénérateur de .gitignore