the IT Hustle
FerramentasManual de campoSobre

Robots.txt & Sitemap

Gere robots.txt e sitemaps XML com validação e sugestões de boas práticas.

Grátis
Predefinições rápidas
Regras ativas
All BotsALLOW
/
All BotsDISALLOW
/admin/
/api/
/private/
Adicionar regra
Opções
robots.txt Output
# Generated by The IT Hustle -- the-it-hustle.com
# robots.txt

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /

Sitemap: https://example.com/sitemap.xml
Deployment:
1. Download or copy the file above
2. Save as robots.txt in your site's root directory
3. Verify at your-site.com/robots.txt
4. Test in Google Search Console robots.txt Tester

Como gerar Robots.txt e Sitemaps

Crie robots.txt e sitemaps XML para melhorar seu SEO com o gerador gratuito do The IT Hustle.

  1. 1
    Insira a URL do seu siteDigite a URL base do seu site para gerar automaticamente os caminhos corretos.
  2. 2
    Configure as regras de rastreamentoDefina regras de permissão/bloqueio para diferentes bots (Googlebot, Bingbot etc.) e especifique o crawl-delay.
  3. 3
    Adicione URLs ao sitemapInsira as URLs das suas páginas para gerar um sitemap XML, ou cole uma lista de URLs para geração em lote.
  4. 4
    Baixe os arquivosBaixe seus arquivos robots.txt e sitemap.xml prontos para enviar ao diretório raiz do seu site.

Perguntas frequentes

Robots.txt é um arquivo de texto no diretório raiz do seu site que informa aos rastreadores dos mecanismos de busca quais páginas eles podem ou não acessar. Ele ajuda a administrar o orçamento de rastreamento e evitar a indexação de páginas privadas.

Sim, idealmente. O robots.txt controla o que os rastreadores podem acessar, enquanto o sitemap informa proativamente quais páginas existem. Juntos, eles dão aos mecanismos de busca a visão mais clara do seu site.

Ambos os arquivos vão no diretório raiz do seu site. O robots.txt deve estar em seusite.com/robots.txt e o sitemap em seusite.com/sitemap.xml (referenciado no seu robots.txt).

Ferramentas relacionadas

Gerador de Meta TagsVerificador de SEOGerador de .gitignore