Público-alvo deste guia
Este guia avançado é direcionado principalmente para administradores e proprietários de sites que possuem um volume grande ou médio de páginas, especialmente quando essas páginas são atualizadas com frequência. Destina-se a:
- Sites muito grandes, com mais de um milhão de páginas únicas, que têm conteúdo atualizado moderadamente, cerca de uma vez por semana;
- Sites médios ou grandes, com mais de 10 mil páginas únicas, cujos conteúdos mudam diariamente;
- Sites que apresentam um grande número de URLs classificados no Search Console como “Detectado, mas não indexado no momento”.
Essas categorias indicam cenários em que a gestão eficiente da cota de rastreamento torna-se essencial para melhorar o desempenho de indexação no Google e garantir que as páginas importantes sejam atualizadas nos resultados de pesquisa.
Teoria geral do rastreamento
A web é um ambiente imenso e em constante crescimento, o que torna impossível para o Googlebot rastrear e indexar todas as páginas existentes na internet a qualquer momento. Por isso, é estabelecido um limite chamado cota de rastreamento para cada site, que representa a quantidade de recursos que o Google destinam para o rastreamento daquele domínio específico em um dado período.
Nem todas as páginas rastreadas serão necessariamente indexadas; cada URL é avaliado e consolidado para que apenas o conteúdo relevante e útil seja incluído no índice de pesquisa.
A cota de rastreamento depende basicamente de dois fatores:
Limite de capacidade de rastreamento
Esse limite é estabelecido para que o Googlebot possa rastrear seu site sem causar sobrecarga no servidor, garantindo uma experiência estável para os usuários. A capacidade está relacionada ao número de conexões simultâneas que o Googlebot pode abrir com o servidor, assim como ao espaçamento entre as requisições.
Alguns fatores influenciam essa capacidade:
- Integridade do rastreamento: se o servidor responde rapidamente e sem erros, o Google pode aumentar o limite de conexões para rastrear mais páginas simultaneamente. Caso contrário, o limite é reduzido para evitar que o site fique indisponível.
- Recursos do Google: o Google também possui limites globais para a distribuição dos seus motores de busca.
Demanda de rastreamento
A demanda se refere ao interesse do Google na quantidade e frequência de rastreamento do conteúdo do site, baseado em características como tamanho, taxa de atualização, qualidade e relevância geral.
Principais fatores que determinam a demanda:
- Inventário percebido: número de URLs que o Google conhece e considera importantes para rastrear, excluindo conteúdo duplicado ou irrelevante para indexação;
- Popularidade: páginas com maior tráfego e demanda dos usuários tendem a ser rastreadas com mais frequência;
- Inatividade: o Google rastreia mais frequentemente páginas que mudam com maior regularidade.
Eventos como mudanças de estrutura do site ou lançamento de novos conteúdos também podem aumentar a demanda.
Resumindo
O Google define a cota de rastreamento com base na combinação entre a capacidade do servidor e a demanda do conteúdo. Mesmo que a capacidade permita mais rastreamento, uma baixa demanda refletirá em menos URLs rastreados.
Práticas recomendadas para otimização da cota de rastreamento
Para garantir que o Googlebot utilize o tempo e recursos de forma eficiente ao rastrear seu site, siga as práticas abaixo:
1. Gerencie o inventário de URLs
Informe ao Google quais páginas devem ser priorizadas no rastreamento e quais devem ser excluídas. Gastar tempo rastreando URLs que não devem ser indexados pode prejudicar o desempenho do site no Google.
- Consolide conteúdo duplicado para evitar excesso de URLs semelhantes;
- Bloqueie URLs irrelevantes ou duplicados usando robots.txt para impedir que o Google rastreie páginas desnecessárias;
- Remova páginas permanentemente com código 404 ou 410 para indicar que o conteúdo não está mais disponível;
- Elimine erros “soft 404” que indicam páginas vazias ou não relevantes, mas que retornam status 200;
- Mantenha sitemaps atualizados e completos para facilitar a descoberta e priorização de URLs;
- Evite redirecionamentos longos ou em cadeia que dificultam o rastreamento eficiente.
2. Melhore a velocidade de carregamento das páginas
Quanto mais rápido o Googlebot carregar e processar as páginas, mais páginas poderão ser rastreadas em um mesmo período.
- Bloqueie recursos pesados e não essenciais para o entendimento da página, como imagens decorativas, através do robots.txt;
- Otimize o tempo de resposta do servidor e a renderização do conteúdo, evitando scripts ou imagens que retardem o carregamento;
- Evite sequências longas de redirecionamentos;
- Garanta que o tempo de execução de JavaScript e o carregamento do conteúdo sejam rápidos e eficientes.
3. Use códigos HTTP para informar mudanças de conteúdo
O Google suporta cabeçalhos HTTP que indicam se o conteúdo mudou desde o último rastreamento, como If-Modified-Since e If-None-Match. Isso ajuda a economizar recursos do servidor e otimiza rastreamentos.
Retornar um código 304 (Not Modified) para conteúdo que não foi alterado desde a última visita é uma prática recomendada.
4. Oculte URLs que não deseja incluir nos resultados de pesquisa
Reduza o desperdício da cota de rastreamento bloqueando páginas que não agregam valor para os usuários na busca.
Exemplos comuns incluem:
- Navegação facetada e URLs com parâmetros de sessão;
- Conteúdo duplicado não canônico;
- Páginas que retornam erros soft 404;
- Páginas invadidas ou de baixa qualidade;
- Páginas de carrinho, com rolagem infinita, formulários e outras que não agregam conteúdo indexável.
Evite usar técnicas temporárias para ajustar a cota, como editar robots.txt para liberar cota ocasionalmente. Use bloqueios de forma consistente e permanente para as páginas que não deseja que o Google rastreie.
5. Monitore o rastreamento e disponibilidade do site
Utilize as ferramentas do Search Console para acompanhar o comportamento do Googlebot no seu site e identificar possíveis problemas.
- Verifique o relatório de estatísticas de rastreamento para detectar erros de servidor, quedas de disponibilidade e padrões anormais;
- Use a ferramenta de inspeção de URL para verificar urls específicos;
- Se o servidor estiver sobrecarregado, considere aumentar sua capacidade para suportar mais conexões simultâneas.
6. Controle emergencial do excesso de rastreamento
Se o Googlebot estiver sobrecarregando seus servidores, siga estas estratégias temporárias:
- Retorne códigos HTTP 503 (serviço indisponível) ou 429 (muitas requisições) para solicitações do Googlebot enquanto o problema persiste;
- Quando a carga baixar, pare de retornar esses códigos para evitar que URLs sejam removidos do índice;
- Monitore a taxa de rastreamento para garantir que a atividade esteja dentro dos limites aceitáveis;
- Se o problema estiver relacionado ao AdsBot, reavalie suas segmentações de anúncios dinâmicos ou aumente a capacidade do servidor.
Mitos e fatos sobre rastreamento
É importante esclarecer conceitos comuns para melhor entender o funcionamento do rastreamento pelo Google:
- Compactar sitemaps: não aumenta a cota de rastreamento, pois o Google ainda precisa fazer o download do arquivo;
- Atualizar conteúdo sempre é melhor: o Google prioriza qualidade, não simplesmente atualizações frequentes ou triviais;
- Conteúdo antigo é menos importante: a relevância é que conta, independentemente da idade do conteúdo;
- Google não gosta de parâmetros em URLs: ele consegue rastrear parâmetros, desde que estejam bem configurados;
- Velocidade das páginas: páginas mais rápidas permitem maior volume de rastreamento, mas o Google prioriza conteúdo valioso;
- Tamanho do site: sites pequenos podem ser rastreados com frequência se contiverem conteúdo importante;
- Proximidade do conteúdo na estrutura do site: páginas próximas à homepage podem ser consideradas mais importantes para rastreamento;
- Controle de versão em URL: pode incentivar o Google a rastrear novamente, mas deve ser usado com moderação;
- Velocidade do site e erros: sites rápidos e estáveis aumentam a cota de rastreamento, enquanto erros e lentidão a limitam;
- Rastreamento não é um fator de classificação: melhorar a taxa de rastreamento não garante melhores posições;
- URLs alternativos e conteúdo incorporado: consomem parte da cota de rastreamento;
- A regra “crawl-delay” no robots.txt: não é atendida pelo Googlebot;
- A regra “nofollow”: tem impacto parcial, pois links com “nofollow” ainda podem ser rastreados em certas condições;
- Usar “noindex”: ajuda a manter páginas fora do índice, mas a página deve ser rastreada para que o Google o identifique.
Conclusão
Gerenciar a cota de rastreamento é essencial para manter grandes sites eficientes frente ao Google Search. Ao otimizar o inventário de URLs, melhorar a velocidade e a qualidade das páginas, monitorar e resolver problemas de disponibilidade, e adotar as melhores práticas técnicas indicadas, proprietários de sites podem garantir que o Googlebot gastará seus recursos no conteúdo mais importante, favorecendo a indexação adequada e a melhor visibilidade nos resultados de busca.