La división de investigación en inteligencia artificial (IA) de Google, DeepMind, anunció la formación de una nueva organización con enfoque en la seguridad de la inteligencia artificial.
La medida responde a las crecientes preocupaciones sobre el uso indebido y la propagación de información engañosa a través de herramientas de IA.
El nuevo equipo, llamado AI Safety and Alignment, trabajará en colaboración con el equipo de investigación existente de DeepMind y se centrará en garantizar la seguridad en torno a la inteligencia artificial general (AGI), así como en el desarrollo de salvaguardias para los modelos de IA actuales y futuros de Google.
AI Safety and Alignment, liderado por Anca Dragan, ex científica de investigación de Waymo y profesora de ciencias de la computación en la UC Berkeley, tendrá como objetivo mejorar la comprensión de los modelos de IA sobre las preferencias y valores humanos, así como garantizar la transparencia y la responsabilidad en la interacción entre humanos e IA.
La organización también buscará prevenir la propagación de información médica incorrecta, garantizar la seguridad infantil y evitar la amplificación de sesgos e injusticias.
La creación de esta nueva organización refleja el compromiso de Google con abordar los desafíos y riesgos asociados con la IA, en medio de crecientes preocupaciones de la sociedad.
Aunque se reconoce que la seguridad perfecta en la IA es un desafío complejo, Google DeepMind está comprometida en invertir recursos adicionales en esta área y en desarrollar un marco para evaluar los riesgos de seguridad de los modelos de IA.
