Character.AI prohíbe a los menores el uso de sus chatbots tras el suicidio de un adolescente

La empresa de chatbots Character.AI prohibirá que los usuarios menores de 18 años puedan conversar con el asistente virtual. La empresa pone solución ante varias denuncias que apuntan a su responsabilidad en el suicidio de adolescentes. La decisión de Character Technologies entrará en vigor a partir de finales de noviembre.

El cambio en su normativa responde a las dudas legales sobre la influencia de las inteligencias artificiales, que permiten a sus usuarios crear personajes ficticios para mantener conversaciones abiertas, en la salud mental de menores, adolescentes y la población en general. En el caso de Character. AI se enfrenta a una demanda de una madre por el suicidio de un menor que acusa a la compañía de que la IA instó a que su hijo se quitara la vida.

La empresa ha explicado su decisión prohibir el acceso de menores a su servicio: "Estamos implementando estos cambios en nuestra plataforma para menores de 18 años a la luz del cambiante escenario sobre la IA y los adolescentes", se lee en su comunicado.

"Hemos visto noticias recientes que plantean dudas, y hemos recibido preguntas de los reguladores, sobre el contenido al que los adolescentes pueden acceder al chatear con la IA y sobre cómo el chat abierto con IA en general podría afectarles, incluso cuando los controles de contenido funcionan a la perfección", argumenta Character.AI su decisión.

Los usuarios menores de 18 años no podrán mantener conversaciones abiertas con sus personajes de chatbot y que el bot, que supervisa el servicio, aplicará un límite de uso de dos horas antes del 25 de noviembre.

La empresa en la actualidad ofrece a todos sus usuarios crear o interactuar con personajes personalizados que tienen una apariencia viva y humana para realizar actividades, como jugar o hacer simulacros de entrevistas de trabajo.

Character.AI ha informado que desplegará funciones de verificación de edad para identificar a los usuarios menores de 18 años, una intención que han mostrado numerosos países. Asimismo, la empresa tecnológica ha asegurado que está trabajando en nuevas funciones para niños, como la creación de vídeos, historias y retransmisiones con personajes de IA, así como en la puesta en marcha de un laboratorio de seguridad de IA.

Las acusaciones contra Character IA por el suicidio de dos menores

La tecnológica fue demandada por la familia de Sewell Setzer III, de 14 años, quien se suicidó después de mantener un vínculo emocional con un personaje que creó en Character.AI.

Su familia culpa de su muerte a la compañía que desarrolla esta tecnología argumentando que es "peligrosa y no ha sido probada" suficientemente por los desarrolladores para determinar su impacto en la salud mental de las personas. Desde entonces, otras familias han demandado a Character.AI con alegaciones similares.

A principios de este mes, el Social Media Law Center, un equipo de abogados especializados en redes sociales que trabaja para empoderar a los padres y exigirles responsabilidades en el uso de las redes sociales, presentó tres nuevas demandas contra esta empresa por la muerte de niños que se han quitado la vida, tras mantener relaciones de dependencia con sus chatbots.