Google Anuncia o Robots.txt Report no Google Search Console: Saiba Como Acessar e Analisar os Dados
O Robots.txt Report é a nova funcionalidade do Google Search Console, lançada para substituir o antigo Robots.txt Tester. Com essa ferramenta, é possível identificar erros no rastreamento do arquivo robots.txt, verificar a data do último rastreamento e acessar outras informações relevantes.
Em 15 de novembro de 2024, o Google anunciou a adição do Robots.txt Report ao Google Search Console.
Com essa novidade, é possível verificar se o arquivo robots.txt do seu site está válido, além de gerar um relatório detalhado da URL rastreada. Esse relatório inclui informações como a data do último rastreamento, o status do arquivo, seu tamanho em bytes e qualquer problema que possa ter sido identificado.
A nova funcionalidade permite que os profissionais de SEO compreendam melhor como os crawlers do Google interagem com o arquivo robots.txt do site. Nós analisamos a documentação fornecida pelo Google e testamos a ferramenta para explicar como ela funciona e como você pode utilizá-la, seja como profissional, consultor ou agência de SEO. Acompanhe a explicação!
O que é o Robots.txt?
Se você está começando no mundo do SEO e ainda não sabe o que é o robots.txt, saiba que ele é o primeiro arquivo que o Googlebot solicita ao visitar um site. Esse arquivo define quais bots podem ou não rastrear determinadas URLs do seu site.
Embora não seja obrigatório ter um arquivo robots.txt, sua configuração incorreta pode afetar negativamente a performance orgânica do site. Por isso, entender como o Googlebot interage com esse arquivo e ter acesso a relatórios no Google Search Console pode ser muito útil para profissionais da área.
O que muda com o Robots.txt Report?
Para acessar essa nova funcionalidade, basta entrar no Google Search Console, ir até “Configurações” e descer até a seção de Crawling. Lá, você encontrará o relatório de robots.txt. Ao clicar, você será direcionado para uma página com mais detalhes sobre o relatório.
Veja abaixo as informações fornecidas pelo Robots.txt Report, de acordo com o próprio Google:
- Caminho do arquivo (File Path): A URL do robots.txt, geralmente no formato seusite.com.br/robots.txt. O relatório analisa tanto http:// quanto https://, se disponível.
- Status da busca: O relatório mostra se o crawler conseguiu acessar o arquivo. Se o arquivo não foi encontrado (erro 404) ou houve outros problemas de indexação, o status será “não encontrado”. Caso contrário, o status será “obtido” (fetched).
- Data do último rastreamento: Informa a data do último acesso ao robots.txt.
- Tamanho do arquivo: Indica o tamanho em bytes do arquivo robots.txt.
- Quantidade de problemas no robots.txt: Mostra o número de problemas encontrados no arquivo.
Ao clicar na URL rastreada, o Search Console abre um painel lateral onde você pode ver as versões anteriores do arquivo e fazer um teste ao vivo para verificar o que o bot está rastreando. Vale lembrar que o histórico de versões do arquivo é mantido por apenas 30 dias.
O que fazer se o Robots.txt não for acessado pelo Google?
O arquivo robots.txt desempenha um papel importante na visibilidade do seu site nos mecanismos de busca. No entanto, o Google pode enfrentar dificuldades para acessá-lo em alguns casos. Veja como proceder:
Ausência do arquivo Robots.txt
Se o robots.txt não for encontrado para um domínio ou subdomínio, não há problemas significativos. O Google simplesmente assume que pode rastrear todas as páginas do site.
Problemas de acesso ao Robots.txt
Se o Google encontrar o arquivo, mas não conseguir acessá-lo, ele seguirá a seguinte sequência de ações, conforme a documentação do Google:
- Nas primeiras 12 horas, o Google interrompe o rastreamento do site e tenta acessar novamente o arquivo robots.txt.
- Se o arquivo não for acessado, o Google utiliza a última versão válida por até 30 dias, enquanto tenta obter uma versão atualizada.
- Se os erros persistirem por mais de 30 dias, o Google trata o site como se não tivesse um robots.txt. No caso de indisponibilidade do site, o Google interrompe o rastreamento. Nessa situação, é fundamental atuar com SEO técnico para garantir que o site esteja otimizado corretamente.
Problemas no conteúdo do Robots.txt
Quando o Google acessa o robots.txt, ele analisa o conteúdo linha por linha e ignora as instruções que contenham erros ou que não possam ser interpretadas. Arquivos robots.txt vazios são tratados como sem restrições, permitindo o rastreamento completo do site.
Como se preparar?
Se você trabalha com SEO técnico ou está realizando auditorias de sites, é importante testar a nova funcionalidade agora mesmo. E para não perder outras novidades do mundo SEO, confira nossa lista de newsletters recomendadas ou assine a nossa para ficar sempre informado!