Investigadores llevaron a cabo un estudio que reveló que Google Gemini, el nuevo modelo de lenguaje lanzado por Google como competencia directa del GPT-3.5 Turbo de OpenAI, no tiene el mismo rendimiento.
El estudio, realizado por científicos de la Universidad Carnegie Mellon y la empresa BerriAI, encontró que el Gemini de Google no es tan competente como el GPT-3.5 Turbo de OpenAI en varias tareas.
Según la investigación, aunque el Gemini Pro de Google tiene una precisión comparable, es ligeramente inferior en comparación con el GPT-3.5 Turbo de OpenAI.
El estudio comparó cuatro modelos de lenguaje diferentes: el Gemini Pro de Google, el GPT-3.5 Turbo de OpenAI, el GPT-4 Turbo y el Mixtral 8x7B, un nuevo modelo de código abierto desarrollado por la startup francesa Mistral.
Los investigadores utilizaron el sitio LiteLLM para evaluar los modelos en diversas tareas, incluyendo preguntas de opción múltiple en áreas de ciencias, humanidades y ciencias sociales.
Los resultados demostraron que el Gemini Pro de Google tuvo un rendimiento inferior al GPT-3.5 Turbo en varias categorías de preguntas, como sexualidad humana, lógica formal, matemáticas elementales y medicina profesional.
Además, el Gemini Pro falló en responder algunas preguntas debido a restricciones de seguridad y contenido, lo que fue considerado una respuesta incorrecta por los investigadores.
Aunque el Gemini Pro tuvo un buen rendimiento en áreas como la traducción entre idiomas, el estudio concluyó que, en general, el GPT-3.5 Turbo de OpenAI supera al Gemini Pro y otros modelos probados.
Esta investigación es ciertamente desalentadora para los investigadores de Google, que han invertido esfuerzos considerable en el desarrollo del Gemini.
Google, en respuesta, afirmó que el Gemini Pro supera el rendimiento del GPT-3.5 y tienen planes de lanzar una versión aún más potente, llamada Gemini Ultra, que supuestamente supera al GPT-4 en pruebas internas.