Principales destaques
- Disponibilidad general: Google habilitó Computer Use para las API Interactions y GenerateContent el 30 de octubre de 2026.
- La IA no lo ejecuta todo por sí sola: Gemini analiza capturas de pantalla y propone acciones, pero la aplicación debe realizar los clics, introducir comandos y devolver la nueva pantalla al modelo.
- La seguridad sigue en manos de los desarrolladores: los entornos aislados, la confirmación de acciones y los mecanismos contra instrucciones maliciosas continúan siendo elementos importantes de la implementación.
Google ha dado un paso importante para convertir Gemini en una IA capaz de interactuar con interfaces digitales. Con la llegada de Computer Use a la disponibilidad general, los desarrolladores pueden utilizar esta función para automatizar tareas en navegadores, dispositivos móviles y ordenadores.
Pero hay un detalle que cambia la forma de entender esta tecnología: el modelo puede decidir qué acción sugerir, pero no es necesariamente quien la ejecuta.
La diferencia parece pequeña, pero es fundamental para quienes pretenden construir agentes de IA capaces de navegar por sitios web, rellenar formularios o probar aplicaciones.
🖥️ Gemini ve la pantalla. La aplicación hace el trabajo.
El 30 de octubre de 2026, el registro de actualizaciones de Gemini API anunció la disponibilidad general de Computer Use en las API Interactions y GenerateContent.
El mecanismo funciona mediante una combinación de visión artificial, interpretación de interfaces y ejecución de comandos por parte de una aplicación cliente.
En la práctica, Gemini recibe una captura de pantalla, analiza lo que está ocurriendo y propone una operación. Puede ser un clic, un desplazamiento o una secuencia de teclas.
La aplicación responsable de la automatización recibe esa instrucción y la ejecuta en el entorno elegido. Después, captura la pantalla actualizada y envía la imagen al modelo, que puede decidir cuál será el siguiente paso.
🔄 El ciclo de funcionamiento es el siguiente:
1️⃣ Observar: la aplicación envía una captura de pantalla a Gemini.
2️⃣ Decidir: el modelo identifica la acción que considera adecuada y devuelve una llamada a función.
3️⃣ Ejecutar: el código de la aplicación interpreta la llamada y realiza la operación en el navegador o dispositivo.
4️⃣ Verificar: una nueva captura de pantalla vuelve al modelo para orientar la siguiente acción.
Este proceso puede repetirse hasta que la tarea termine o se interrumpa.
La diferencia entre sugerir y ejecutar es crucial
En una demostración, puede parecer que la IA controla directamente el ordenador. Sin embargo, en la arquitectura documentada por Google existe una capa intermedia responsable de convertir la decisión del modelo en una operación real.
Una llamada a función no significa que el clic ya se haya producido. Describe una acción que el cliente debe interpretar y ejecutar.
💡 El punto central es este: la respuesta del modelo representa una propuesta de acción, no una confirmación de que la interfaz ya se haya modificado.
Esta separación también permite a los desarrolladores controlar qué operaciones pueden realizarse, en qué entornos y bajo qué condiciones.
Por tanto, para construir un agente funcional no basta con enviar capturas de pantalla a Gemini. Es necesario implementar la lógica que recibe las instrucciones, ejecuta los comandos, captura el resultado y gestiona los posibles errores.
📐 Hasta la posición del clic requiere trabajo adicional
Hay otro detalle técnico que ayuda a explicar por qué la aplicación cliente no es un simple intermediario pasivo.
Las coordenadas generadas por el modelo están normalizadas con respecto a una escala de referencia de la pantalla. El cliente debe convertirlas a las dimensiones reales de la ventana o del dispositivo antes de ejecutar el clic.
Si esta conversión es incorrecta, el agente podría hacer clic en un botón distinto del que pretendía seleccionar.
Google presenta ejemplos de integración con herramientas de automatización, como Playwright, que pueden ejecutar acciones en navegadores.
🔎 El desafío no termina cuando el modelo acierta: la implementación debe garantizar que la instrucción se traduzca correctamente al entorno real y que la siguiente captura represente el estado actualizado de la interfaz.
Esto resulta especialmente importante en páginas dinámicas, donde los menús, las ventanas y los elementos pueden cambiar de posición durante la ejecución.
🌐 ¿Qué pueden automatizar los desarrolladores?
Google describe aplicaciones para distintos entornos, incluidos navegadores, dispositivos móviles y ordenadores.
Entre los ejemplos se encuentran:
- Rellenar formularios en páginas web.
- Probar interfaces y flujos de aplicaciones.
- Buscar información sobre productos en diferentes sitios web.
- Navegar por interfaces que requieren una secuencia de interacciones.
Estos ejemplos representan usos documentados de la tecnología, no una comprobación independiente de su rendimiento o de su adopción a gran escala.
La calidad de la automatización depende de la capacidad del modelo para interpretar la pantalla, pero también de la implementación que ejecuta las acciones y gestiona las situaciones inesperadas.
🔐 La seguridad no viene incluida automáticamente
Computer Use también exige precauciones porque permite que un modelo proponga acciones sobre interfaces reales.
Google recomienda ejecutar la automatización en una máquina virtual o un contenedor aislado para reducir la exposición del sistema anfitrión. Se trata de una recomendación arquitectónica, no de una garantía automática de aislamiento en todas las implementaciones.
También existen mecanismos que ayudan al cliente a decidir cómo gestionar determinadas acciones.
En las familias de modelos Gemini 3.x y Gemini 4, según la documentación citada por Google, un campo de intención puede explicar por qué el modelo ha seleccionado una operación. Las respuestas de seguridad también pueden clasificar las acciones como permitidas, sujetas a confirmación o bloqueadas.
Cuando una operación está bloqueada, corresponde a la aplicación detener la ejecución o gestionar adecuadamente la interrupción.
⚠️ Y hay un detalle importante: la detección de prompt injection es opcional y aparece desactivada de forma predeterminada en los ejemplos de la documentación. Cuando se habilita, puede analizar capturas de pantalla en busca de instrucciones adversarias ocultas.
Este mecanismo es relevante porque el contenido mostrado en una página puede intentar manipular el comportamiento del agente. Sin embargo, la existencia de esta protección no significa que todos los ataques vayan a detectarse.
Google también advierte sobre posibles errores y vulnerabilidades. Recomienda supervisar de cerca las tareas importantes y evitar aplicaciones que impliquen decisiones críticas, datos sensibles u operaciones cuyos errores puedan provocar consecuencias graves y difíciles de revertir.
🤖 La disponibilidad general no significa autonomía ilimitada
La llegada de Computer Use a la disponibilidad general hace que la función esté accesible a través de las dos API anunciadas. Esto facilita su utilización por parte de desarrolladores que desean crear agentes capaces de interactuar con interfaces gráficas.
Pero el cambio de estado no elimina los requisitos técnicos de implementación.
| Componente | Responsabilidad |
|---|---|
| Gemini | Interpretar la captura de pantalla y proponer acciones |
| Aplicación cliente | Interpretar las llamadas a función y ejecutar las operaciones |
| Entorno de automatización | Proporcionar la interfaz en la que se realizarán las acciones |
| Captura de pantalla | Mostrar al modelo el estado actualizado |
| Capa de seguridad | Aplicar restricciones, confirmaciones y gestionar bloqueos |
La documentación establece cómo integrar estos componentes, pero no demuestra por sí sola la fiabilidad de cualquier flujo automatizado ni su rendimiento en tareas específicas.
El próximo desafío para quienes desarrollan agentes será transformar esta secuencia de decisiones y operaciones en experiencias predecibles, seguras y capaces de recuperarse cuando algo no salga según lo previsto.
Al fin y al cabo, conseguir que una IA sugiera el clic correcto es solo una parte del problema. Garantizar que el clic se produzca en el lugar adecuado, en el momento oportuno y sin comprometer el resto del sistema es otra historia.
