Estetty robots.txt:llä mutta listattu sitemapissa: miksi ristiriita on tärkeä

Miksi ristiriita merkitsee

Sitemap sanoo, että URL on löytämisen arvoinen. robots.txt-blokki sanoo, ettei polkua saa hakea. Se luo tarpeettoman ristiriidan crawl- ja indeksointikerrokseen.

Miten tämä yleensä syntyy

Yleisiä syitä ovat migraatiot, väliaikaiset staging-säännöt, perityt disallow-kuviot ja generaattorit, jotka eivät tunne robots-politiikkaa.

Miten ristiriita auditoidaan

Tarkista onko robots-blokki tarkoituksellinen, pitäisikö URL:n todella olla sitemapissa ja koskeeko ristiriita muutamaa URL:ää vai kokonaista osiota.

Related pages

• robots.txt ja sitemapit: miten ne toimivat yhdessä — robots.txt ja XML-sitemap tekevät eri asioita, mutta yhdessä ne muodostavat tärkeän teknisen SEO-parin politiikalle ja discoverylle.
• Sitemap sisältää noindex-sivuja: miksi se heikentää signaalia — Sitemapin pitäisi tavallisesti sisältää kanonisia ja indeksoitavia URL-osoitteita. Jos se sisältää noindex-sivuja, sivusto lähettää ristiriitaisia signaaleja siitä, mitä pitäisi indeksoida.
• Useita sitemap-tiedostoja robots.txt:ssä: mitä se tarkoittaa ja miten se auditoidaan — Jotkin sivustot ilmoittavat yhden sitemapin robots.txt:ssä, toiset kaksikymmentä. Tässä mitä useat Sitemap-direktiivit oikeasti tarkoittavat ja miten rakenne arvioidaan oikein.
• Blogi — Vinkkejä, oppaita ja parhaita käytäntöjä XML-sivustokartoista ja teknisestä SEO:sta.

Lue artikkeli