Análise do Robots Disallow Checker
O Robots Disallow Checker é uma extensão gratuita para o Chrome que permite auditar quais caminhos um site desautoriza no arquivo robots.txt e quantos deles estão indexados pelo Google. A ferramenta extrai as regras de 'Disallow' que se aplicam ao Googlebot e as converte em consultas do tipo 'site:', exibindo a quantidade de URLs indexadas sob cada padrão desautorizado. Isso facilita a identificação de URLs que, apesar de bloqueadas, ainda aparecem nos resultados de busca do Google, permitindo um controle mais eficaz sobre o conteúdo indexado.
Entre as principais funcionalidades estão o suporte a diversos padrões do robots.txt, como prefixos simples, curingas e exceções de 'Allow'. A extensão também conta com um cache local de 7 dias, permitindo auditorias rápidas para regras já processadas. Além disso, não coleta dados e garante que todas as operações sejam realizadas no dispositivo do usuário, assegurando a privacidade dos dados durante o uso.
