Principales destacados
- Nuevo foro sobre AGI: investigadores de Google y DeepMind lanzaron un instituto para ampliar la discusión sobre la inteligencia artificial general y reunir diferentes perspectivas.
- La transparencia se convirtió en un problema: investigadores defienden límites para sistemas cuyo razonamiento resulta cada vez más difícil de seguir y supervisar.
- Hassabis propone supervisión: el cofundador de DeepMind sugiere un organismo liderado por Estados Unidos para evaluar modelos de IA de frontera antes de su lanzamiento.
La carrera por la inteligencia artificial general, la famosa AGI, acaba de ganar otro escenario de disputa. Solo que, esta vez, la idea no es lanzar un modelo nuevo.
Google y Google DeepMind anunciaron el miércoles el DeepMind Institute, creado para ampliar la conversación sobre el futuro de la AGI y poner diferentes perspectivas en la misma mesa.
Al frente estarán Shane Legg, cofundador de DeepMind, James Manyika, ejecutivo de Google, y Demis Hassabis, presidente de Google DeepMind. Legg también asumirá la función de editor jefe.
La propuesta también es estar en desacuerdo 🗣️
El instituto nace con una premisa curiosa para una organización vinculada a una de las mayores empresas de IA del mundo: las personas involucradas no tienen que estar de acuerdo.
La propia presentación afirma que Google, Google DeepMind e investigadores de otras partes del mundo probablemente tendrán opiniones diferentes. Y hay más: esas opiniones pueden cambiar a medida que aparezcan nuevos datos e información.
🔎 La idea central: en lugar de tratar la AGI como una discusión con respuestas prefabricadas, el instituto quiere acompañar los cambios en la frontera tecnológica y hacer públicas las divergencias.
La primera colección reúne cuatro ensayos, que abordan desde políticas económicas para hacer frente a posibles impactos de la AGI hasta principios para el florecimiento humano.
También forman parte de la agenda la transparencia del razonamiento de los modelos y una propuesta para evaluar sistemas de IA de frontera.
El razonamiento de las máquinas es cada vez más difícil de ver 👀
Uno de los textos fue escrito por los investigadores de seguridad de DeepMind Rohin Shah y Anca Dragan.
El argumento es directo: la reducción de la transparencia de los modelos de IA no tiene por qué considerarse un destino inevitable.
Los modelos más avanzados pueden realizar procesos internos cada vez más difíciles de observar y verificar. Para investigadores y reguladores, esto genera un problema bastante concreto: ¿cómo supervisar un sistema cuando resulta cada vez más difícil entender el camino que siguió hasta llegar a una respuesta?
Aquí aparece el concepto de “opaque serial depth”, utilizado para describir la cantidad de computación secuencial que un modelo puede ejecutar sin producir un registro de razonamiento que pueda ser leído y analizado.
💡 El punto de tensión: cuanto más potente y opaca se vuelve una IA, mayor puede ser la distancia entre lo que hace el sistema y aquello que los humanos realmente pueden supervisar.
Los autores sostienen que desarrolladores y reguladores deberían abordar explícitamente este equilibrio de riesgos para la seguridad.
Entre las posibilidades analizadas están limitar esta profundidad de computación opaca o exigir a los desarrolladores que demuestren que los sistemas menos transparentes siguen ofreciendo niveles equivalentes de capacidad de supervisión.
¿Y si la supervisión llega antes del lanzamiento? 🧪
El segundo movimiento importante aparece en un ensayo firmado por Demis Hassabis.
El ejecutivo propone crear un organismo de estándares para la IA de frontera liderado por Estados Unidos, responsable de evaluar los modelos más avanzados antes de que estén disponibles.
Inicialmente, la participación sería voluntaria. Las empresas podrían enviar sus modelos para evaluación hasta 30 días antes del lanzamiento.
| Etapa | Cómo funcionaría |
|---|---|
| Fase inicial | Las empresas presentarían voluntariamente sus modelos para evaluación |
| Evolución | El sistema comenzaría a desarrollar evaluaciones más independientes |
| Posible fase obligatoria | Aprobar los tests podría convertirse en un requisito para desplegar modelos de frontera en EE. UU. |
La propuesta, por tanto, comienza con una especie de período de prueba para el propio mecanismo de supervisión.
Si demuestra que funciona, la aprobación podría dejar de ser voluntaria y convertirse en un requisito para desplegar modelos de frontera en Estados Unidos.
El test secreto entra en escena 🔐
Hay otro detalle importante en la propuesta de Hassabis.
Al principio, el organismo desarrollaría evaluaciones en consulta con las propias empresas de IA. Pero posteriormente pasaría a crear evaluaciones independientes y no divulgadas con antelación.
Son los llamados “held-out tests”.
La lógica es sencilla: si una empresa conoce exactamente el test antes de lanzar su modelo, puede optimizar el sistema específicamente para superar esa evaluación.
Con pruebas que permanecen ocultas, esa posibilidad se reduce.
🧩 El cambio de lógica: no basta con conocer las preguntas del examen. El modelo tendría que seguir mostrando un desempeño adecuado frente a evaluaciones que sus desarrolladores no conocen de antemano.
¿Y si la situación se vuelve demasiado seria? ⚠️
Hassabis también deja abierta una posibilidad más contundente.
El sistema podría ampliarse si los riesgos asociados con la tecnología exigieran medidas adicionales. El ensayo incluso menciona una eventual desaceleración coordinada entre desarrolladores de IA de frontera.
La propuesta se presenta como algo que podría ser “ratcheted up”, es decir, intensificado, a medida que aumente la gravedad de la situación.
Esto lleva el debate a un territorio diferente.
Ya no se trata solamente de pedir más transparencia a las empresas o crear estándares comunes. En un escenario en el que las salvaguardas se consideren insuficientes, la discusión también incluiría la posibilidad de coordinar el ritmo de desarrollo de los sistemas más avanzados.
La conversación sobre seguridad cambió de tono 📈
Los ensayos del nuevo instituto aparecen en un momento de cambio en el debate sobre la seguridad de la IA.
La discusión del sector se está desplazando de declaraciones generales sobre los riesgos hacia propuestas más concretas relacionadas con divulgación de información, evaluación externa y mecanismos de supervisión.
Y, cuando estas salvaguardas no avanzan al mismo ritmo que la tecnología, aparece una propuesta todavía más sensible: desacelerar el desarrollo de forma coordinada.
Este cambio cobró fuerza esta semana con el respaldo de líderes del sector a elementos de la propuesta del CEO de Anthropic, Dario Amodei, para establecer un ritmo más controlado para el avance de la IA de frontera.
Entonces, ¿quién supervisa a quién? 🤔
Precisamente ahí es donde el DeepMind Institute puede adquirir relevancia.
El instituto reúne a investigadores y ejecutivos directamente involucrados en el desarrollo de estas tecnologías, pero afirma que quiere abrir espacio para perspectivas divergentes y para cambios de posición a medida que aparezcan nuevas evidencias.
La cuestión ahora tiene menos que ver con crear otra publicación sobre AGI y más con quién ayudará a definir las reglas mientras la tecnología avanza.
Es como construir las señales de tráfico mientras los coches ya están acelerando.
Y, a medida que los modelos se vuelven más potentes y difíciles de examinar, la próxima etapa de esta carrera podría depender no solo de quién desarrolla la tecnología más avanzada, sino de qué mecanismos se crearán para seguir lo que ocurre dentro de ella.
