SitemapScan Blog
User-agents en robots.txt explicados: cómo leer reglas de bots sin adivinar
En robots.txt aparecen bots de búsqueda, crawlers de IA, social preview bots, herramientas de monitoring y muchos nombres raros. Agruparlos por función vuelve legible la señal.
Empezar por la regla comodín
User-agent: * es la regla general por defecto mientras no exista un bloque más específico.
Por qué importan las familias de bots
Bots de búsqueda, bots sociales, bots de seguridad, crawlers de IA y herramientas de monitoring persiguen fines distintos. Mezclarlos borra la política real.
Qué hacer con nombres desconocidos
Los bots poco conocidos se entienden mejor si primero se agrupan por función: discovery, distribution, extraction, monitoring, verification o infraestructura.
Related pages
- Crawlers de búsqueda vs crawlers de IA en robots.txt: qué señales envían los sitios — Cada vez más sitios tratan de forma distinta a los bots de búsqueda y a los crawlers de IA. Eso es sobre todo una señal pública de política, no un informe de tráfico.
- robots.txt y Sitemaps: cómo funcionan juntos — Tu archivo robots.txt y tu sitemap XML tienen roles diferentes pero complementarios. Entender cómo interactúan te ayuda a controlar el comportamiento de los rastreadores con más precisión.
- Múltiples sitemaps en robots.txt: qué significa y cómo auditarlos — Algunos sitios declaran un sitemap en robots.txt y otros veinte. Aquí tienes qué significan realmente varias directivas Sitemap y cómo auditar esa estructura correctamente.
- Blog — Consejos, guías y mejores prácticas para sitemaps XML y SEO técnico.