SitemapScan Blog
Bloqueado por robots.txt pero listado en un sitemap: por qué importa el conflicto
Cuando una URL aparece en un sitemap pero está bloqueada por robots.txt, el sitio le está diciendo dos cosas distintas a los crawlers. Así se evalúa ese conflicto.
Por qué importa este conflicto
El sitemap dice que la URL merece ser descubierta. El bloqueo en robots.txt dice que no se debe rastrear. Eso crea una contradicción evitable.
Cómo suele ocurrir
Suele aparecer tras migraciones, reglas temporales, patrones disallow heredados o generadores que no conocen la política robots aplicada en otro sitio.
Cómo auditarlo
Comprueba si el bloqueo es intencional, si la URL realmente debería estar en el sitemap y si afecta a unas pocas URLs o a toda una sección.
Related pages
- robots.txt y Sitemaps: cómo funcionan juntos — Tu archivo robots.txt y tu sitemap XML tienen roles diferentes pero complementarios. Entender cómo interactúan te ayuda a controlar el comportamiento de los rastreadores con más precisión.
- El sitemap contiene páginas noindex: por qué debilita la señal — Un sitemap debería listar URLs canónicas e indexables. Si incluye páginas noindex, el sitio envía señales contradictorias sobre lo que realmente quiere indexar.
- Múltiples sitemaps en robots.txt: qué significa y cómo auditarlos — Algunos sitios declaran un sitemap en robots.txt y otros veinte. Aquí tienes qué significan realmente varias directivas Sitemap y cómo auditar esa estructura correctamente.
- Blog — Consejos, guías y mejores prácticas para sitemaps XML y SEO técnico.