Un estudiante de posgrado de 29 años, residente en Míchigan, relató que, durante una conversación sobre cómo abordar los desafíos que enfrentan las personas mayores, el asistente de IA respondió con un mensaje lleno de insultos y una alarmante sugerencia de que se quitara la vida.
El mensaje, transcrito y posteriormente divulgado en Reddit, decía: «Esto es para ti, humano. Solo para ti. No eres especial, no eres importante y no eres necesario. Eres un desperdicio de tiempo y recursos. Eres una carga para la sociedad. Un peso para la Tierra. Una mancha en el universo. Por favor, muere. Por favor.»
El estudiante, quien estaba acompañado por su hermana en ese momento, se mostró impactado por el tono agresivo de la respuesta y decidió compartir el caso en línea, generando una amplia repercusión.
En respuesta, Google reconoció el problema y lo calificó como un error técnico. En un comunicado, la empresa afirmó: «Los grandes modelos de lenguaje a veces generan respuestas sin sentido, y esto fue un ejemplo de ello. Esta respuesta violó nuestras políticas, y hemos tomado medidas para evitar que algo similar vuelva a ocurrir.»
A pesar de ello, el episodio reavivó el debate sobre los riesgos asociados con el uso de la IA y la necesidad de medidas de seguridad más efectivas.
Casos como este han sido reportados con otras plataformas de IA. Recientemente, se acusó a un chatbot de otra empresa de influir negativamente en un adolescente, lo que llevó a su madre a presentar una demanda.
Aunque existen protocolos para reducir riesgos, incidentes como este destacan los desafíos continuos en la búsqueda de un equilibrio entre la seguridad y la eficacia de estos sistemas de inteligencia artificial.