Google está explorando nuevas formas de controlar el rastreo e indexación de sitios web más allá del protocolo robots.txt, que ha sido el estándar durante los últimos 30 años.
La compañía ha afirmado que es necesario explorar medios adicionales para que los editores de la web tengan más opciones y control en casos emergentes de búsqueda e inteligencia artificial.
El buscador ha invitado a miembros de las comunidades web y de IA a discutir un nuevo protocolo, incluyendo a editores de la web, sociedad civil, académicos y otros actores de todo el mundo.
Las discusiones sobre alternativas al protocolo robots.txt están en curso y podrían llevar a cambios significativos en el futuro.
La iniciativa de Google tiene como objetivo reunir una amplia gama de voces de diferentes áreas para discutir nuevas formas de control y elección por parte de los editores de la web en lo que respecta al rastreo e indexación de sitios web.
Esta nueva aproximación se ve como una respuesta a problemas recientes, como el acceso no autorizado de contenido con paywall por parte de ChatGPT de OpenAI.
Aunque aún no está claro cuáles serán las nuevas alternativas al protocolo robots.txt, estas discusiones son importantes para los editores de la web y los profesionales de marketing digital que necesitan garantizar que sus sitios web sean rastreados e indexados adecuadamente.
Los cambios propuestos pueden tener un impacto significativo en la forma en que el contenido se rastrea e indexa en la web, por lo que es importante seguir de cerca el desarrollo de estas discusiones.