En un episodio del podcast «Search Off The Record» de diciembre, Gary Illyes reveló que la Búsqueda de Google verifica diariamente alrededor de cuatro mil millones de nombres de host en busca de información del archivo robots.txt.
Esto demuestra la inmensa cantidad de sitios y subdirectorios que son analizados regularmente por la plataforma.
Illyes destacó que, considerando que todos estos nombres de host tengan subdirectorios, es muy probable que haya más de cuatro mil millones de sitios indexados por Google.
Esta es una cantidad impresionante e ilustra el tamaño y la complejidad del índice de búsqueda del gigante tecnológico.
La preocupación del equipo de Google es asegurarse de que cualquier cambio o sugerencia relacionada con el archivo robots.txt no sobrecargue aún más a los editores y propietarios de sitios web.
Reconocen que implementar un mecanismo de exclusión que sea viable para todos los sitios es un desafío complejo.
Aunque muchas personas están ansiosas por soluciones listas, el equipo de Google enfatiza que el problema no debe subestimarse y requiere un enfoque cuidadoso y bien planificado.
La complejidad del ecosistema en línea exige que se consideren diversos factores para garantizar que cualquier nueva implementación sea justa y viable para todos los involucrados.
