SitemapScan Blog
User agents i robots.txt förklarade: hur du läser botregler utan att gissa
En robots.txt kan nämna sökbottar, AI-crawlerer, social preview bots, övervakningsverktyg och en lång svans av märkliga agentnamn. Så gör du listan begriplig.
Börja med wildcard-regeln
User-agent: * är den breda standardregeln för alla bottar, så länge inte en mer specifik agent får ett eget block.
Varför botfamiljer spelar roll
Sökbottar, sociala bottar, security-bottar, AI-crawlerer och övervakningsverktyg fyller olika funktioner. Att slå ihop allt döljer den verkliga policyn.
Vad du gör med okända namn
Okända agenter blir lättare att förstå om du först grupperar dem efter funktion: discovery, distribution, extraction, monitoring, verification eller infrastruktur.
Related pages
- Sökcrawlerer vs AI-crawlerer i robots.txt: vad sajter faktiskt signalerar — Allt fler sajter skiljer mellan sökbottar och AI-crawlerer i robots.txt. Det säger något om policy och innehållsstyrning, inte om faktisk bott-traffic.
- robots.txt och sitemaps: hur de arbetar tillsammans — robots.txt och XML-sitemaps gör olika jobb, men tillsammans utgör de ett viktigt tekniskt SEO-par för policy och discovery.
- Flera sitemaps i robots.txt: vad det betyder och hur du granskar det — Vissa sajter deklarerar en sitemap i robots.txt, andra tjugo. Här är vad flera Sitemap-direktiv faktiskt betyder och hur du granskar strukturen korrekt.
- Blogg — Tips, guider och bästa praxis för XML-sitemaps och teknisk SEO.