Principales destacados
- El benchmark se volvió más difícil Android Bench 2.0 reemplaza las tareas rápidas por trabajos de ingeniería que pueden llevar días.
- La puntuación ahora es continua Google comenzó a medir el grado de finalización, la fidelidad visual y las regresiones, en lugar de limitarse a aprobar o reprobar.
- La arquitectura sigue siendo el cuello de botella Los modelos avanzan en conversiones y transformaciones predecibles, pero todavía tropiezan con las migraciones y la portabilidad.
La prueba de una IA programadora solía parecerse a una especie de examen de opción múltiple para desarrolladores: si corregía el error, aprobaba. Si no lo corregía, reprobaba.
Google decidió que ese modelo ya no decía lo suficiente.
Con Android Bench 2.0, la compañía comenzó a probar una situación mucho más cercana a la rutina de un ingeniero de Android: tareas extensas, llenas de decisiones intermedias y que pueden consumir varios días, o incluso una semana, de trabajo.
El cambio fue anunciado en el Android Developers Blog y modifica no solo las tareas, sino también la forma en que se calculan los resultados.
Adiós a la puntuación binaria 👋
El Android Bench original, lanzado a principios de este año, se centraba en cambios incrementales en repositorios existentes.
Eran correcciones de errores y pequeñas solicitudes de funcionalidades. En ese escenario, los modelos conseguían con frecuencia resultados superiores al 90%.
El problema aparecía cuando la tarea dejaba de ser pequeña.
🔎 El detalle que cambia la cuenta: imagina una IA responsable de una migración gigantesca. Si completara el 90% del trabajo, pero dejara incompleta una parte importante, el sistema anterior aún podría registrar simplemente un cero.
Para Google, eso no representaba adecuadamente el trabajo realizado.
Android Bench 2.0 sustituye ese sistema de todo o nada por una puntuación continua. Así, pueden reconocerse distintos grados de éxito en tareas que no terminan con un simple «funciona» o «no funciona».
💡 El cambio tiene menos que ver con dar una puntuación mayor o menor y más con medir cuánto trabajo logró completar realmente la IA.
Ahora la prueba se parece más al trabajo real 🛠️
La nueva versión introduce las llamadas «tareas de largo horizonte».
Incluyen desafíos como:
• crear aplicaciones desde cero;
• migrar bibliotecas;
• transformar aplicaciones multiplataforma en versiones nativas para Android.
Son problemas diferentes de aquellos en los que basta con localizar una línea de código y aplicar una corrección.
🧩 La diferencia está en las decisiones: cuanto mayor es la tarea, mayor es la necesidad de mantener el contexto, respetar la arquitectura existente y evitar que un cambio resuelva un problema mientras crea otro.
Por eso, el nuevo sistema considera tres dimensiones importantes: funcionalidad, fidelidad visual y regresiones. También aplica penalizaciones cuando el modelo se desvía de las instrucciones estructurales de la tarea.
¿Y los modelos? El listón subió bastante 📉
Los primeros resultados ayudan a dimensionar el salto de dificultad.
En las pruebas divulgadas por Google, GPT-6 Astra, de OpenAI, aparece con una tasa de aprobación del 28%. Gemini 3.8 Flash se quedó en el 8%.
La comparación con el benchmark anterior es significativa. En las tareas más sencillas del Android Bench original, los modelos llegaban a resultados de alrededor del 91%.
Eso no significa que las IA se hayan vuelto repentinamente peores.
Significa que la prueba ahora pregunta otra cosa.
En lugar de «¿puede la IA hacer este cambio?», la pregunta ahora se acerca más a «¿puede la IA llevar una tarea de ingeniería compleja hasta un resultado funcional y consistente?».
¿Qué hacen bien? 🔄
Los resultados muestran una división bastante clara.
Las transformaciones deterministas siguen estando entre los trabajos más accesibles para los modelos. Convertir Java a Kotlin, por ejemplo, es una tarea con reglas relativamente bien establecidas.
Cambiar bibliotecas de red también entra en este grupo.
Escribir código nuevo desde cero aparece como otro punto relativamente fuerte.
⚙️ Cuando el camino es conocido: cuanto más predecible es la transformación, menor suele ser el espacio para decisiones arquitectónicas ambiguas.
El problema comienza cuando el código exige una secuencia de decisiones que no puede resolverse simplemente siguiendo patrones conocidos.
Ahí es cuando la arquitectura pasa factura 🧱
La validación en tiempo de ejecución, las migraciones de frameworks y la portabilidad entre plataformas siguen estando entre los desafíos más difíciles.
En las tareas de portabilidad entre plataformas, incluso los modelos con mejor rendimiento llegaron como máximo al 80% de finalización. Ninguno alcanzó el 100%.
Este número es especialmente interesante porque muestra dónde empieza a aparecer la diferencia entre generar código y hacer ingeniería.
Una aplicación puede compilar y aun así estar lejos de cumplir por completo los requisitos.
Una migración puede avanzar bastante y todavía dejar decisiones estructurales pendientes. Una conversión puede funcionar en un escenario e introducir regresiones en otro.
El agente también entra en la prueba 🤖
Android Bench 2.0 no analiza únicamente el modelo de forma aislada.
Google también comenzó a evaluar configuraciones agénticas, en las que el modelo trabaja dentro de un entorno de desarrollo específico.
Entre los ejemplos están Gemini 3.8 Flash ejecutándose en Google Antigravity y GPT-5.6 Sol trabajando con Codex.
Esta elección es importante porque, en la práctica, una IA programadora no funciona simplemente como una caja de texto.
Puede recibir acceso a archivos, herramientas, terminal, entorno de desarrollo y mecanismos para probar su propio trabajo.
🧪 El entorno importa: según Google, el diseño del harness alrededor del modelo puede influir considerablemente en los resultados obtenidos en situaciones cercanas al mundo real.
Eso significa que comparar únicamente «modelo A contra modelo B» puede dejar de ser suficiente.
Una especie de prueba de resistencia ⏱️
La propuesta de Android Bench 2.0 acerca la evaluación a lo que realmente interesa a un equipo de desarrollo: no solo si la IA puede producir una respuesta correcta, sino si puede mantener una tarea compleja durante el tiempo suficiente para llegar a un resultado utilizable.
El ranking actualizado ya está disponible en el sitio de Android Developers.
Y Google pretende ampliar la lista con otras combinaciones entre modelos y agentes.
Al final, la metáfora del examen sencillo deja de funcionar. La nueva evaluación se parece más a entregarle una obra a la IA y volver unos días después para descubrir qué fue realmente lo que quedó en pie.
La pregunta ahora es otra: cuanto más larga y estructural sea la tarea, ¿cuánto tiempo falta todavía para que estos agentes puedan llevar un proyecto Android completo hasta la línea de meta?
