Principales puntos
- Claude lidera el ranking: Sonnet 5.5 alcanzó una tasa de aprobación del 40 % en Android Bench, la evaluación de Google centrada en el desarrollo de aplicaciones Android.
- GPT-6.1 Sol destaca por su coste: el modelo de OpenAI registró una tasa de aprobación del 29,3 %, con un coste medio de 99,50 dólares, muy inferior al importe asociado al primer puesto.
- Gemini 4 Argon decepciona en su debut: el modelo de Google quedó en quinto lugar, con una tasa de aprobación del 21,3 %, por detrás de sus competidores de Anthropic y OpenAI.
Google ha actualizado su ranking de modelos de inteligencia artificial para programación Android, y el resultado deja a su propia tecnología en una posición poco cómoda. Gemini 4 Argon debutó en la clasificación por detrás de los modelos más recientes de Anthropic y OpenAI, mientras que Claude Sonnet 5.5 se situó en cabeza.
La actualización de Android Bench, publicada el 26 de octubre, ofrece una comparación centrada en una tarea muy específica: ayudar a los desarrolladores a crear aplicaciones Android siguiendo las prácticas recomendadas para la plataforma.
No se trata de una evaluación genérica de inteligencia artificial. El objetivo es medir el rendimiento de los modelos en actividades relevantes para quienes desarrollan aplicaciones para el sistema operativo de Google.
Un ranking que va más allá de escribir código 📊
Android Bench se creó para ayudar a los desarrolladores a elegir los modelos de IA más adecuados a sus necesidades. Además de la capacidad para completar tareas, la evaluación tiene en cuenta aspectos específicos del desarrollo Android.
En la actualización más reciente, Google también comenzó a informar del nivel de razonamiento utilizado por cada modelo, lo que amplía la transparencia de la comparación.
La lista incorporó resultados de cuatro novedades importantes: GPT-6 Sol, GPT-6.1 Sol, Claude Sonnet 5.5 y Gemini 4 Argon, además de otros modelos evaluados anteriormente.
🔎 Qué miden las cifras: la tasa de aprobación indica la proporción de tareas que superaron la evaluación, mientras que la tasa de finalización muestra cuántas se completaron. Son indicadores diferentes: terminar una tarea no significa necesariamente que el resultado haya sido aprobado.
Claude ocupa la primera posición 🥇
Claude Sonnet 5.5 encabeza la clasificación, con una tasa de aprobación del 40 % y una tasa de finalización del 80,9 %.
Claude Opus 5.5, incorporado a la lista a principios de octubre, ocupa la segunda posición.
Las cifras muestran que, incluso entre los modelos avanzados, existen diferencias considerables en la capacidad para producir código que cumpla los criterios específicos de la prueba.
GPT-6.1 Sol apuesta por la relación entre rendimiento y precio 💸
La incorporación más interesante de OpenAI podría estar en la combinación de resultados y costes.
GPT-6.1 Sol alcanzó una tasa de aprobación del 29,3 % y una tasa de finalización del 82,8 %. Su coste medio informado fue de 99,50 dólares, frente a los 1.574,90 dólares asociados a Claude Sonnet 5.5, el modelo líder.
| Modelo | Tasa de aprobación | Tasa de finalización | Coste medio informado |
|---|---|---|---|
| Claude Sonnet 5.5 | 40 % | 80,9 % | 1.574,90 US$ |
| GPT-6.1 Sol | 29,3 % | 82,8 % | 99,50 US$ |
| Claude Fable 5.1 | 21,3 % | 81,8 % | 267,70 US$ |
Fuente: cifras divulgadas en el artículo original sobre Android Bench. Los importes corresponden a los costes informados por la evaluación y no representan necesariamente el precio comercial de una única llamada a la API.
La diferencia es considerable. El coste atribuido a GPT-6.1 Sol equivale aproximadamente al 6,3 % del importe informado para el modelo líder, aunque su tasa de aprobación también es menor.
💡 El detalle que cambia la comparación: GPT-6.1 Sol no lidera en aprobación, pero su combinación de finalización y coste puede convertirlo en una opción atractiva para los desarrolladores que necesitan evaluar cientos o miles de tareas.
Esto no significa que sea automáticamente la mejor elección para todos los proyectos. El resultado depende del tipo de tarea, del presupuesto disponible y de la importancia de obtener código aprobado sin necesidad de rehacer el trabajo.
Gemini 4 Argon queda rezagado en la evaluación del propio Google
El debut de Gemini 4 Argon es el punto más delicado de la actualización.
El modelo aparece en quinto lugar, por detrás de varias alternativas de la competencia. Según las cifras presentadas en el artículo, su tasa de aprobación es del 21,3 %, con una tasa de finalización del 81,8 % y un coste medio de 267,70 dólares.
La diferencia entre finalización y aprobación ayuda a entender el problema: el modelo puede terminar una tarea sin entregar necesariamente una solución que satisfaga todos los criterios exigidos.
⚠️ Un resultado que merece atención: la tasa de aprobación de Gemini 4 Argon se sitúa 18,7 puntos porcentuales por debajo de la registrada por Claude Sonnet 5.5.
El resultado también es relevante para la estrategia del propio Google. La compañía desarrolla Android, controla herramientas fundamentales de su ecosistema y ofrece modelos Gemini para ayudar a los programadores. Quedar por detrás de sus competidores en una prueba especializada en esta plataforma genera una comparación especialmente incómoda.
La clasificación refuerza las dudas anteriores
El resultado no aparece de forma aislada. Poco después del anuncio de Gemini 4 Argon, un artículo de 9to5Google mencionó informes de fuentes internas según los cuales el modelo tenía dificultades con determinadas tareas de programación.
En aquella ocasión, Google defendió las capacidades del sistema.
Android Bench no resuelve por sí solo el debate sobre la calidad general de Gemini. Su alcance es específico, y el rendimiento puede variar según el lenguaje, el proyecto, la complejidad de la tarea y el nivel de razonamiento utilizado.
Aun así, la evaluación ofrece un parámetro concreto para los desarrolladores que necesitan elegir herramientas de trabajo, en lugar de depender únicamente de demostraciones o promesas de los fabricantes.
¿Qué significa esto para quienes desarrollan aplicaciones? 📱
La clasificación sugiere tres criterios para elegir un modelo de programación:
- Calidad: la tasa de aprobación ayuda a estimar con qué frecuencia el código cumple los requisitos de la prueba.
- Finalización: indica la capacidad de llevar las tareas hasta el final, pero no garantiza que el resultado sea correcto.
- Coste: permite evaluar si la mejora de calidad justifica la inversión adicional.
Para los equipos que trabajan con Android a gran escala, las diferencias de coste pueden tener un impacto considerable. Un modelo más barato puede ser suficiente para tareas rutinarias, mientras que otro con una tasa de aprobación superior puede compensar en cambios críticos o complejos.
La mejor estrategia quizá no consista en elegir un único modelo para todo, sino en distribuir las tareas según el rendimiento y el coste de cada alternativa.
El ranking de Google ofrece una instantánea de un momento concreto, no una sentencia definitiva sobre los modelos. Queda por ver si las próximas actualizaciones mostrarán una reacción de Gemini 4 Argon o si Claude y GPT seguirán ampliando su ventaja precisamente en el terreno donde Google más tiene que defender.
