Como identificar e controlar o aumento urgente do rastreamento do Google no seu site

Entendendo o aumento acentuado no rastreamento do Google

O rastreamento realizado pelo Google é guiado por algoritmos avançados que buscam encontrar o equilíbrio ideal entre a frequência de acesso às páginas de um site e a capacidade do servidor em suportar essas visitas. Normalmente, os robôs do Google tentarão rastrear o maior número possível de páginas em cada visita, sem sobrecarregar o servidor.

No entanto, um aumento inesperado ou significativo na frequência de rastreamento pode gerar sobrecarga no servidor, prejudicando a performance do site e causando custos indesejados. Entre as causas mais comuns desse aumento estão:

• Estruturação ineficiente de URLs, muitas vezes criada por funcionalidades específicas do site, como:
• Navegação facetada ou filtros dinâmicos que geram múltiplas versões de URLs.
• Agendas com URLs para datas específicas, que acabam criando longas listas de URLs semelhantes.
• Configurações que envolvem segmentação dinâmica de anúncios de pesquisa, que podem ampliar o volume de URLs rastreados.

Para identificar a origem do aumento no rastreamento, é essencial analisar os registros de acesso do servidor e checar se o tráfego está alinhado às causas mencionadas. Além disso, é importante consultar especialistas de hospedagem e utilizar ferramentas de monitoramento para obter um panorama claro do problema. Recursos e guias específicos indicados pelo Google recomendam estratégias para gerenciar URLs de navegação facetada e otimizar a eficiência do rastreamento.

Como reduzir urgentemente o tráfego do rastreador (em situações emergenciais)

Em casos onde o servidor está sobrecarregado de forma crítica devido ao rastreamento, pode ser necessário reduzir temporariamente a taxa de rastreamento do Google. Entretanto, é importante saber que essa ação possui impactos significativos sobre a atualização e descoberta de conteúdo:

• O Googlebot irá descobrir menos páginas novas.
• As páginas existentes serão atualizadas menos frequentemente, o que pode afetar informações importantes como preços e disponibilidade de produtos.
• Páginas removidas podem permanecer no índice do Google por períodos mais longos.
• Em relação à plataforma Google Ads, a redução da taxa pode levar à suspensão ou pausa nas campanhas e anúncios.

Para reduzir rapidamente a taxa de rastreamento por algumas horas ou até poucos dias, recomenda-se que o servidor retorne os códigos HTTP 500, 503 ou 429 nas solicitações feitas pelos rastreadores do Google, em vez do código 200. Quando a infraestrutura do Google percebe um número elevado desses códigos de erro, ela automaticamente diminui o ritmo do rastreamento, aplicando essa redução ao nome do host inteiro — incluindo URLs que retornam erro e os que retornam conteúdo válido.

Assim que o número de erros diminuí, a taxa de rastreamento volta a aumentar automaticamente, mas o processo pode levar algum tempo.

Atenção: essa prática não deve ser utilizada por mais de 1 ou 2 dias consecutivos. A permanência prolongada desses códigos de erro pode prejudicar a visibilidade do site, resultando na remoção de URLs do índice do Google.

Ações excepcionais para redução da taxa de rastreamento

Se a exibição de erros HTTP não for viável na infraestrutura do seu site, o Google permite o registro de uma solicitação especial para reduzir a taxa de rastreamento. Essa solicitação deve ser realizada por meio da Search Console, onde deve-se descrever o problema enfrentado e indicar qual seria a taxa ideal de rastreamento para o seu site.

Vale destacar que:

• Não é possível solicitar uma taxa maior de rastreamento, apenas reduções são permitidas.
• O atendimento a essas solicitações pode levar vários dias.

Antes de tomar a decisão de solicitar a redução, recomenda-se explorar maneiras de otimizar a estrutura e a eficiência do rastreamento no seu site, como simplificar a arquitetura de URLs e gerenciar adequadamente as URLs geradas por navegação facetada ou filtros dinâmicos.

Considerações finais sobre a taxa de rastreamento do Google

O Google trabalha para interagir com os sites da maneira mais eficiente, ajustando automaticamente a taxa de rastreamento para evitar sobrecarregar a infraestrutura dos servidores. No entanto, entender como o seu site está estruturado e o volume de URLs disponíveis para rastreamento é fundamental para que esse processo seja eficaz.

Caso você perceba um aumento repentino na atividade dos rastreadores, investigue primeiramente possíveis problemas de estruturação e URLs geradas dinamicamente, que podem causar acesso desnecessário a múltiplas versões das mesmas páginas.

A redução manual da taxa de rastreamento é uma ferramenta importante para emergências, mas deve ser usada com cautela para evitar impactos negativos na visibilidade do seu site nos produtos do Google.