SitemapScan Blog
robots.txt:n user agentit selitettynä: näin luet bottisääntöjä arvailematta
robots.txt voi mainita hakubotteja, AI-crawlereita, social preview -botteja, monitorointityökaluja ja pitkän hännän outoja agenttinimiä. Näin teet listasta ymmärrettävän.
Aloita wildcard-säännöstä
User-agent: * on laaja oletussääntö kaikille boteille, ellei tarkempi agentti saa omaa lohkoaan.
Miksi bottiperheillä on väliä
Hakubotit, sosiaaliset botit, security-botit, AI-crawlerit ja monitorointityökalut tekevät eri asioita. Jos niputat kaiken yhteen, sivuston oikea policy hämärtyy.
Mitä teet tuntemattomille nimille
Tuntemattomat agentit on helpoin ymmärtää luokittelemalla ne ensin funktion mukaan: discovery, distribution, extraction, monitoring, verification tai infrastruktuuri.
Related pages
- Hakucrawlerit vs AI-crawlerit robots.txt:ssä: mitä sivustot oikeasti signaloivat — Yhä useampi sivusto erottaa hakubotit ja AI-crawlerit robots.txt:ssä. Tämä kertoo enemmän politiikasta ja sisällön hallinnasta kuin todellisesta bottiliikenteestä.
- robots.txt ja sitemapit: miten ne toimivat yhdessä — robots.txt ja XML-sitemap tekevät eri asioita, mutta yhdessä ne muodostavat tärkeän teknisen SEO-parin politiikalle ja discoverylle.
- Useita sitemap-tiedostoja robots.txt:ssä: mitä se tarkoittaa ja miten se auditoidaan — Jotkin sivustot ilmoittavat yhden sitemapin robots.txt:ssä, toiset kaksikymmentä. Tässä mitä useat Sitemap-direktiivit oikeasti tarkoittavat ja miten rakenne arvioidaan oikein.
- Blogi — Vinkkejä, oppaita ja parhaita käytäntöjä XML-sivustokartoista ja teknisestä SEO:sta.