SitemapScan Blog
Bloccata da robots.txt ma elencata nella sitemap: perché il conflitto conta
Quando una URL è presente nella sitemap ma bloccata da robots.txt, il sito sta dicendo due cose diverse ai crawler. Ecco perché il conflitto conta e come valutarlo.
Perché questo conflitto è importante
La sitemap dice che la URL merita discovery. Il blocco robots.txt dice che il percorso non deve essere scansionato. È una contraddizione evitabile.
Come nasce di solito
Succede spesso dopo migrazioni, regole temporanee, pattern disallow ereditati o generatori che ignorano la policy robots applicata altrove.
Come auditarlo
Verifica se il blocco è intenzionale, se la URL dovrebbe davvero stare nella sitemap e se il conflitto riguarda pochi URL o un'intera sezione.
Related pages
- robots.txt e Sitemap: come lavorano insieme — Il file robots.txt e la sitemap XML hanno ruoli diversi ma complementari. Capire come interagiscono ti aiuta a controllare il comportamento dei crawler con maggiore precisione.
- La sitemap contiene pagine noindex: perché indebolisce il segnale — Una sitemap dovrebbe elencare URL canoniche e indicizzabili. Se include pagine noindex, il sito invia segnali contraddittori su ciò che vuole davvero in indice.
- Più sitemap nel robots.txt: cosa significa e come analizzarle — Alcuni siti dichiarano una sitemap nel robots.txt, altri venti. Ecco cosa significano davvero più direttive Sitemap e come analizzare correttamente questa struttura.
- Blog — Consigli, guide e best practice per sitemap XML e SEO tecnico.