🤖
Gerador de robots.txt
Crie arquivos robots.txt completos e personalizados para controlar como os robôs de busca rastreiam seu site.
Selecione um preset para gerar automaticamente as regras do seu robots.txt.
robots.txt12 linhas
⚠️Adicione a URL do sitemap para melhor indexação
User-agent: * Disallow: /admin/ Disallow: /login/ Disallow: /api/ Disallow: /private/ Disallow: /tmp/ User-agent: Googlebot Allow: / User-agent: Bingbot Allow: /
Ferramentas Relacionadas
O Gerador de robots.txt do Utilitarioz cria arquivos robots.txt para controlar o acesso de crawlers de buscadores ao seu site, bloqueando páginas privadas, pastas admin e otimizando o crawl budget.
Diretivas principais do robots.txt
- ▸User-agent — especifica o robô (Googlebot, * para todos)
- ▸Disallow — caminho bloqueado para crawling
- ▸Allow — permite acesso mesmo dentro de pasta bloqueada
- ▸Sitemap — URL do sitemap para facilitar indexação
- ▸Crawl-delay — intervalo entre requisições (não suportado pelo Google)
Boas práticas
- ▸Bloquear /admin/, /private/, /api/ que não devem ser indexadas
- ▸Bloquear parâmetros de URL duplicados: ?page=, ?sort=
- ▸Sempre incluir a URL do sitemap
- ▸Não use robots.txt para bloquear páginas sensíveis — use autenticação
Perguntas Frequentes — Gerador de robots.txt
robots.txt impede indexação?
Bloqueia o crawling (visita), mas não a indexação. O Google pode indexar uma página com base em links externos mesmo sem visitá-la. Para bloquear indexação, use noindex no HTML.
Onde colocar o robots.txt?
Sempre na raiz do domínio: https://seusite.com.br/robots.txt. Subdiretórios não são suportados.