SitemapScan Blog
User agents i robots.txt forklaret: sådan læser du botregler uden at gætte
En robots.txt kan nævne søgebots, AI-crawlere, social preview bots, overvågningsværktøjer og en lang hale af mærkelige agentnavne. Sådan gør du listen brugbar.
Start med wildcard-reglen
User-agent: * er den brede standardregel for alle bots, medmindre en mere specifik agent får sin egen blok.
Hvorfor botfamilier betyder noget
Søgebots, sociale bots, security-bots, AI-crawlere og overvågningsværktøjer løser forskellige opgaver. Hvis du lægger dem i samme bunke, mister du policy-signalet.
Hvad du gør med ukendte navne
Ukendte agenter bliver lettere at læse, hvis du først grupperer dem efter funktion: discovery, distribution, extraction, monitoring, verification eller infrastruktur.
Related pages
- Søgecrawlere vs AI-crawlere i robots.txt: hvad sites faktisk signalerer — Flere sites skelner nu mellem søgebots og AI-crawlere i robots.txt. Det siger noget om politik og indholdsgovernance, ikke om faktisk bottrafik.
- robots.txt og sitemaps: hvordan de arbejder sammen — robots.txt og XML-sitemaps udfører forskellige opgaver, men sammen danner de et vigtigt teknisk SEO-par for policy og discovery.
- Flere sitemaps i robots.txt: hvad det betyder og hvordan du auditerer det — Nogle sites deklarerer én sitemap i robots.txt, andre tyve. Her er hvad flere Sitemap-direktiver faktisk betyder, og hvordan du vurderer strukturen korrekt.
- Blog — Tips, vejledninger og bedste praksis for XML-sitemaps og teknisk SEO.