SitemapScan Blog
robots.txt user agents uitgelegd: hoe je botregels leest zonder te gokken
Een robots.txt-bestand kan zoekbots, AI-crawlers, social preview bots, monitoring tools en een lange staart van vreemde agentnamen bevatten. Zo maak je daar een leesbaar patroon van.
Begin met de wildcard-regel
User-agent: * is de brede standaardregel voor alle bots, tenzij een specifiekere agent een eigen blok krijgt.
Waarom botfamilies ertoe doen
Zoekbots, sociale bots, security bots, AI-crawlers en monitoringtools hebben verschillende functies. Alles in één bak gooien wist het echte beleid uit.
Wat je doet met onbekende namen
Classificeer onbekende agents eerst op functie: ontdekking, distributie, extractie, monitoring, verificatie of infrastructuur.
Related pages
- Search crawlers vs AI crawlers in robots.txt: wat sites eigenlijk signaleren — Steeds meer sites behandelen zoekbots anders dan AI-crawlers in robots.txt. Dit laat zien welke beleidslijn een site kiest, niet hoeveel verkeer die bots echt sturen.
- robots.txt en sitemaps: hoe ze samen werken — robots.txt en XML-sitemaps doen verschillende dingen, maar samen vormen ze een belangrijk technisch SEO-duo voor policy en discovery.
- Meerdere sitemaps in robots.txt: wat het betekent en hoe je het audit — Sommige sites declareren één sitemap in robots.txt, andere twintig. Dit is wat meerdere Sitemap-directives echt betekenen en hoe je die structuur goed beoordeelt.
- Blog — Tips, handleidingen en best practices voor XML-sitemaps en technische SEO.