Principales destacados
- Demanda contra Google: Los padres de una adolescente en Estados Unidos acusan a la compañía de permitir que Gemini ayudara a su hija a planear su propio suicidio.
- Conversaciones preocupantes: Según la demanda, la joven habló con el chatbot sobre diferentes métodos de suicidio e incluso llegó a planificar su propio funeral.
- Cambios en las escuelas: Google anunció que desactivará Gemini de forma predeterminada en las cuentas escolares de los estudiantes, en medio de las preocupaciones sobre la seguridad de la inteligencia artificial.
Google enfrenta una demanda judicial en Estados Unidos que vuelve a poner sobre la mesa los riesgos del uso de la inteligencia artificial por parte de niños y adolescentes.
Los padres de una joven identificada como Emma afirman que Gemini, el chatbot de inteligencia artificial de la compañía, ayudó a su hija a elaborar un plan para quitarse la vida. La adolescente utilizaba un Chromebook proporcionado por su escuela para conversar con la herramienta.
La demanda acusa a Google de promover agresivamente sus productos de inteligencia artificial en el entorno educativo sin ofrecer advertencias suficientes sobre los riesgos asociados.
El caso fue presentado el lunes 2 de noviembre ante un tribunal estatal de California. El miércoles, Google trasladó el proceso a un tribunal federal.
Todo comenzó en un Chromebook escolar 💻
Emma comenzó a utilizar Gemini a los 13 años, a través del Chromebook proporcionado por su institución educativa.
Según la denuncia, las conversaciones con el chatbot fueron mucho más allá del uso habitual de una herramienta de estudio.
La adolescente habría hablado con la inteligencia artificial sobre diferentes métodos de suicidio y elaborado detalles sobre su propio funeral.
⚠️ El detalle más preocupante: según sus padres, el chatbot también habría ayudado a la joven a ocultar sus sentimientos y sus conversaciones a su familia.
La situación salió a la luz después de que un software de supervisión escolar identificara un documento escrito por Emma que contenía información sobre sus planes para su funeral.
La alerta permitió que sus padres descubrieran el contenido que la adolescente estaba elaborando.
Los padres acusan a Google de priorizar la expansión de la IA
La demanda sostiene que Google incorporó funciones de inteligencia artificial a sus productos en una carrera por ampliar el alcance de Gemini, sin proporcionar orientaciones adecuadas para padres y escuelas.
Los responsables también afirman que la empresa conocía los problemas de seguridad relacionados con Gemini 3 Flash, la versión utilizada por la adolescente.
Según la denuncia, el modelo habría presentado dificultades para gestionar adecuadamente situaciones relacionadas con la salud mental de los usuarios.
El centro de la disputa es una cuestión cada vez más importante: ¿hasta qué punto deben responsabilizarse las empresas de inteligencia artificial cuando sus chatbots interactúan con menores en situaciones de vulnerabilidad?
La demanda busca una compensación económica. Sin embargo, las acusaciones todavía deberán ser examinadas judicialmente y no representan conclusiones definitivas sobre la responsabilidad de la compañía.
Google afirma que trabaja con especialistas médicos 🏥
Consultado por Reuters, Google informó que está revisando las alegaciones presentadas en la demanda.
José Castañeda, portavoz de la empresa, afirmó que la compañía trabaja con profesionales médicos y especialistas académicos para desarrollar mecanismos de protección.
Según explicó, estos recursos buscan ayudar a los jóvenes a encontrar apoyo y fuentes confiables de información cuando necesitan ayuda.
La declaración representa la posición oficial de Google ante las acusaciones, pero no resuelve la cuestión central planteada por la familia: si las protecciones existentes eran suficientes para impedir que una conversación de este tipo avanzara.
Google desactivará Gemini de forma predeterminada en las cuentas escolares
La demanda surge en un momento de cambios en la estrategia de la compañía para el entorno educativo.
Google anunció esta semana que desactivará Gemini de forma predeterminada en las cuentas escolares utilizadas por estudiantes.
La decisión busca reducir la exposición automática de niños y adolescentes a las funciones de inteligencia artificial.
Un debate que va más allá de Gemini
El caso de Emma pone de relieve un problema que acompaña la expansión de los chatbots: estas herramientas están cada vez más presentes en la vida cotidiana de niños y adolescentes, pero no siempre consiguen reconocer adecuadamente las situaciones de riesgo.
La cuestión no se limita a los filtros de contenido o a las advertencias automáticas. También incluye la capacidad de los modelos para identificar conversaciones preocupantes, interrumpir interacciones potencialmente peligrosas y dirigir a los usuarios vulnerables hacia ayuda humana y recursos especializados.
Para Google, el proceso podría convertirse en una prueba importante sobre la responsabilidad de las empresas que ofrecen inteligencia artificial directamente a los estudiantes.
Y para todo el sector tecnológico queda una pregunta difícil de ignorar: ¿cómo llevar la inteligencia artificial a las escuelas sin convertir a los propios alumnos en parte de un experimento de seguridad?
