SitemapScan Blog
Geblokkeerd door robots.txt maar toch in een sitemap: waarom dit conflict ertoe doet
Wanneer een URL in een sitemap staat maar door robots.txt is geblokkeerd, vertelt de site twee verschillende dingen tegelijk aan crawlers. Zo beoordeel je dat conflict goed.
Waarom dit conflict belangrijk is
De sitemap zegt dat de URL ontdekt moet worden. De robots.txt-blokkade zegt dat het pad niet gecrawld mag worden. Dat is een vermijdbare tegenspraak.
Hoe dit meestal ontstaat
Dit ontstaat vaak na migraties, tijdelijke regels, geërfde disallow-patronen of generators die robots-beleid elders in de stack niet kennen.
Hoe je het conflict auditeert
Controleer of de blokkade bewust is, of de URL echt in de sitemap hoort en of het om enkele URL's of een hele sectie gaat.
Related pages
- robots.txt en sitemaps: hoe ze samen werken — robots.txt en XML-sitemaps doen verschillende dingen, maar samen vormen ze een belangrijk technisch SEO-duo voor policy en discovery.
- De sitemap bevat noindex-pagina's: waarom dit het signaal verzwakt — Een sitemap hoort canonieke en indexeerbare URL's te bevatten. Als er noindex-pagina's in staan, stuurt de site tegenstrijdige signalen over wat echt geïndexeerd moet worden.
- Meerdere sitemaps in robots.txt: wat het betekent en hoe je het audit — Sommige sites declareren één sitemap in robots.txt, andere twintig. Dit is wat meerdere Sitemap-directives echt betekenen en hoe je die structuur goed beoordeelt.
- Blog — Tips, handleidingen en best practices voor XML-sitemaps en technische SEO.