Gerador de robots.txt e llms.txt
O Gerador de robots.txt e llms.txt cria prévias de regras de rastreamento e de um índice editorial público para agentes. Revise cuidadosamente o resultado antes de publicar, porque diretivas incorretas podem limitar a descoberta de páginas importantes.
O que deve entrar no robots.txt?
Use robots.txt para orientar crawlers sobre áreas que não devem ser rastreadas e para declarar o sitemap. Ele não substitui autenticação, não protege informação sensível e não remove uma URL que já foi indexada.
O que deve entrar no llms.txt?
Inclua somente páginas públicas que ajudem a entender os serviços, conteúdos e recursos do site. Não liste rotas administrativas, credenciais, clientes, endpoints internos ou detalhes operacionais.
Como testar os arquivos?
Publique primeiro em homologação, solicite a URL por HTTP, confira o Content-Type e valide se sitemap, canonicals e páginas públicas continuam acessíveis ao crawler correto.
Use a ferramenta de priorização SEO para organizar as correções encontradas durante a validação.
