Google sorprendió al divulgar información sobre Google-Safety, un crawler especial diseñado para detectar y proteger contra malware.
Diseñado para casos especiales, tiene la capacidad de realizar comprobaciones de calidad en páginas de anuncios móviles o mensajes de notificación push a través de las API de Google.
Estos crawlers especiales no obedecen las directivas globales del usuario en archivos robots.txt que están marcadas con un asterisco (*).
Sí, ignora por completo las pautas establecidas en el archivo robots.txt, que normalmente controla el acceso de los bots a las páginas.
El agente de usuario de Google-Safety, identificado como «Google-Safety», se encarga de buscar malware en enlaces disponibles públicamente en las propiedades de Google.
Esta aproximación no convencional de ignorar las reglas de robots.txt permite que el crawler acceda y analice páginas que podrían ser potencialmente perjudiciales para los usuarios.
La documentación completa de Google-Safety se puede encontrar en la página de Google Search Central dedicada a crawlers especiales.
