SitemapScan Blog
Bloqueado por robots.txt mas listado na sitemap: por que esse conflito importa
Quando uma URL aparece na sitemap mas está bloqueada por robots.txt, o site está dizendo duas coisas diferentes aos crawlers ao mesmo tempo. É assim que esse conflito deve ser auditado.
Por que esse conflito importa
A sitemap diz que a URL merece descoberta. O bloqueio em robots.txt diz que o caminho não deve ser rastreado. Isso cria uma contradição evitável.
Como isso costuma acontecer
Isso aparece com frequência após migrações, regras temporárias, padrões disallow herdados ou geradores que ignoram a política de robots aplicada em outra camada.
Como auditar o conflito
Verifique se o bloqueio é intencional, se a URL realmente deveria estar na sitemap e se o conflito afeta algumas URLs ou uma seção inteira.
Related pages
- robots.txt e sitemaps: como eles funcionam juntos — robots.txt e sitemap XML são arquivos diferentes, mas se complementam. Um define política básica de crawl; o outro ajuda a descobrir URLs importantes.
- A sitemap contém páginas noindex: por que isso enfraquece o sinal — Uma sitemap deveria listar URLs canônicas e indexáveis. Se ela inclui páginas noindex, o site passa a enviar sinais contraditórios sobre o que quer indexar.
- Vários sitemaps no robots.txt: o que isso significa e como auditar — Alguns sites declaram um sitemap no robots.txt. Outros declaram vinte. Aqui está o que várias diretivas Sitemap realmente significam e como auditar essa estrutura corretamente.
- Blog — Dicas, guias e melhores práticas para sitemaps XML e SEO técnico.