Principales puntos
- Una única instrucción: una propuesta permite que los sitios web indiquen en
robots.txt que no autorizan el uso de su contenido para entrenar modelos de IA.
- Apoyo de los gigantes tecnológicos: Google, Microsoft, OpenAI y Anthropic anunciaron su respaldo a la iniciativa, pero cada empresa seguirá un calendario de implementación diferente.
- Límites de la protección: la señal expresa una preferencia, no una obligación absoluta, y no garantiza pagos ni licencias por el uso del contenido.
Administrar los permisos de rastreo de un sitio web podría resultar más sencillo. Google, Microsoft, OpenAI y Anthropic respaldan una propuesta para estandarizar la forma en que los editores comunican que no quieren que sus contenidos se utilicen para entrenar modelos de inteligencia artificial.
La iniciativa aprovecha un archivo que ya forma parte de la infraestructura de la web: robots.txt. En lugar de configurar reglas independientes para cada empresa, los responsables de los sitios podrán utilizar una señal compartida para expresar sus preferencias.
La propuesta fue publicada el viernes por Kevin Kelley, de Anthropic, como un documento preliminar presentado ante la Internet Engineering Task Force (IETF), organización responsable del desarrollo de estándares abiertos de internet.
🤝 Cuatro gigantes, una misma dirección
El anuncio cobró fuerza porque las cuatro empresas manifestaron su apoyo a la iniciativa el mismo día.
Google, OpenAI y Microsoft publicaron sus propios comunicados, mientras que Kelley presentó la propuesta en la lista de discusión de la IETF dedicada a las preferencias sobre el uso de contenidos por parte de sistemas de IA.
La idea es reducir la fragmentación actual. Hoy, un sitio que quiere impedir que su contenido se utilice para entrenar modelos necesita conocer y configurar los controles específicos de cada rastreador.
🔧 ¿Cómo funcionaría? La nueva señal utiliza el identificador __usage_ai-training, que puede incluirse en un grupo de reglas de robots.txt. El sitio puede especificar qué rutas no deben utilizarse para el entrenamiento.
Esto permitiría, por ejemplo, restringir el uso de artículos periodísticos y, al mismo tiempo, autorizar una sección específica, como un kit de prensa.
💡 El cambio separa dos decisiones que no siempre tienen por qué ir juntas: permitir que un contenido sea encontrado en internet y autorizar que se utilice para entrenar modelos de IA.
Esta distinción es especialmente importante para medios de comunicación, blogs, editoriales y otros productores de contenido que dependen de que sus páginas sean descubiertas a través de los motores de búsqueda.
📅 ¿Cuándo implementará cada empresa la regla?
El respaldo es compartido, pero los plazos son diferentes. Las empresas también pretenden mantener parte de los controles que ya utilizan.
| Empresa | Calendario anunciado |
|---|---|
| Anthropic | Ya ha comenzado a trabajar en la implementación |
| OpenAI | Pretende implementar la señal en los próximos meses |
| Prevé ofrecer compatibilidad a principios de 2027 | |
| Microsoft | Respetará las nuevas preferencias a partir del 1 de febrero de 2027 |
Anthropic y OpenAI mantienen sus propios controles
Anthropic pretende complementar sus mecanismos actuales, no sustituirlos. Kelley también advirtió que la adopción llevará tiempo, ya que será necesario abordar posibles complicaciones técnicas y casos particulares.
Por su parte, OpenAI afirmó que pretende implementar la señal en los próximos meses. Los controles existentes, como las reglas relacionadas con el rastreador GPTBot, seguirán siendo relevantes.
Esto significa que la estandarización no eliminará de inmediato la necesidad de comprender las configuraciones específicas de cada plataforma.
Google prepara el cambio para 2027
Google informó que pretende ofrecer compatibilidad con la iniciativa a principios de 2027.
Actualmente, Google-Extended es uno de los mecanismos que los sitios pueden utilizar para controlar determinados usos de su contenido en los sistemas de IA de Google.
Según las directrices anunciadas por la empresa, si un sitio utiliza la nueva señal para bloquear el entrenamiento y no menciona explícitamente Google-Extended, Google interpretará esa configuración como un bloqueo para este control.
Google también señala una consecuencia práctica: los sitios que permiten el uso autorizado a través de Google-Extended pueden seguir apareciendo en las respuestas de la aplicación Gemini y recibir clics procedentes de esas experiencias.
Microsoft va más allá del entrenamiento
Microsoft comenzará a respetar las nuevas preferencias el 1 de febrero de 2027. El cambio sustituirá las etiquetas NoArchive y NoCache que la empresa utiliza desde 2023.
Pero hay otro componente. La compañía también está incorporando una configuración específica por página para controlar el grounding, un proceso mediante el cual una respuesta de IA utiliza información de páginas web para fundamentarse.
La opción podrá permitir el uso por parte de productos propios de Microsoft, como Copilot, mientras bloquea los servicios de grounding que la empresa ofrece a otras organizaciones.
⚠️ Entrenamiento y grounding no son lo mismo: el primero implica utilizar contenido para entrenar modelos; el segundo consiste en consultar contenido para fundamentar respuestas. Controlar una actividad no significa necesariamente bloquear la otra.
🚧 El problema: la regla no ofrece una garantía absoluta
A pesar del respaldo de empresas importantes, la propuesta todavía no es un estándar oficial de internet.
El documento es una presentación individual. El registro de la IETF indica que la organización no ha respaldado la propuesta y que esta todavía no tiene una posición formal dentro del proceso de estandarización.
Hay otras limitaciones importantes:
- La ausencia de la señal no significa una prohibición: si el sitio no configura el grupo, no habrá expresado una preferencia mediante este mecanismo.
- Las reglas existentes siguen siendo relevantes: las instrucciones generales para los rastreadores no equivalen automáticamente a la nueva preferencia de entrenamiento.
- Los acuerdos privados pueden prevalecer: los contratos entre sitios web y empresas de IA pueden establecer condiciones diferentes.
- El rastreo no es el objetivo principal: la señal expresa una preferencia sobre el uso del contenido, pero no constituye una orden general para impedir que una página sea accesible.
Por lo tanto, la adopción dependerá tanto de la implementación técnica como de la forma en que cada empresa interprete y respete las configuraciones.
💰 ¿Y qué pasa con los pagos a los productores de contenido?
La propuesta tampoco resuelve la disputa sobre la remuneración por el uso de contenidos periodísticos y editoriales.
Microsoft dejó claro que las nuevas preferencias no establecen acuerdos de licencia ni mecanismos de pago. La empresa también advirtió que bloquear el grounding puede reducir significativamente la visibilidad del contenido en experiencias generadas por IA, aunque eso no modifica la posición de la página en los resultados tradicionales de Bing.
El debate es relevante para los sitios que necesitan equilibrar la exposición de sus contenidos con el control sobre su utilización comercial.
En julio, Cloudflare adoptó una postura más agresiva frente a los rastreadores de IA, defendiendo un modelo en el que estos paguen por acceder al contenido o sean bloqueados. Su director ejecutivo también advirtió sobre la posibilidad de que el tráfico automatizado supere ampliamente al generado por las personas en la web.
En Australia, emisoras como ABC y SBS también defendieron que las empresas de IA remuneren el uso de noticias.
🌐 ¿Y Meta? Andy Stone, responsable de comunicación de la empresa, manifestó su apoyo en X a la idea de una señal común. Sin embargo, no confirmó si Meta respetará la propuesta.
🇪🇺 La iniciativa también interesa a Europa
Google afirmó que la propuesta es compatible con el Código de Buenas Prácticas europeo para modelos de IA de propósito general, vinculado a la Ley de IA de la Unión Europea (AI Act). El código reconoce robots.txt como uno de los principales mecanismos para que los editores expresen preferencias legibles por máquinas.
El debate también cuenta con la participación de representantes de organizaciones como Financial Times, BBC, Bertelsmann y European Publishers Council, mencionados en los agradecimientos del documento.
Esto demuestra que el tema no se limita a las empresas que desarrollan modelos. Para los editores, el desafío consiste en establecer reglas que sean técnicamente sencillas, ampliamente reconocidas y capaces de preservar el control sobre sus contenidos.
¿Qué cambia para quienes administran un sitio web?
Para los propietarios de sitios web, la propuesta podría reducir el trabajo necesario para mantener políticas separadas para cada empresa de IA. Sin embargo, no conviene considerar la nueva señal una protección completa antes de que su implementación esté disponible y sus efectos hayan sido confirmados.
robots.txt seguirá siendo una pieza importante de esta estrategia, junto con los controles específicos de cada rastreador y los acuerdos de licencia aplicables.
La iniciativa intenta crear un lenguaje común entre quienes publican contenidos y quienes desarrollan IA. El siguiente paso será transformar el respaldo público de los gigantes tecnológicos en una regla efectivamente implementada y respetada por toda la industria.
