La IA devuelve su voz a Fran, enfermo de ELA: "Es emocionante volver escuchar mis palabras y pensamiento con mi voz"

ValenciaCuando la voz se apaga, el silencio pesa. En él se esconden emociones, recuerdos y matices que forman parte de cada persona. Ese silencio lo conoce bien Fran Vivó, vecino de Benaguasil y afectado por Esclerosis Lateral Amiotrófica (ELA), una enfermedad que, sin avisar, le arrebató la capacidad de hablar con su propia voz . Hoy, gracias a la inteligencia artificial, la ha recuperado. "Es emocionante volver a estudiar mis palabras y mis pensamientos con mi voz propia", afirma Fran.

Jordi Llinares, director del grupo de investigación VertexLit, afrontó el gran reto de reconstruir la voz de Fran con apenas 20 minutos de audio en castellano y valenciano, su lengua natal. Un proyecto que llegó a ValgrAI de la mano del documentalista Alex Badia, y a través de la investigadora Gema Piñero, del Instituto iTEAM de la UPV.

Con redes neuronales entrenadas para trabajar con corpus limitados —especialmente en valenciano, donde apenas existen recursos— los investigadores analizaron su dinámica vocal, incorporaron modulaciones emocionales y crearon un modelo adaptativo. Todo con el objetivo de ofrecer un lenguaje lleno de rasgos humanos y con las tonalidades propias de la zona de Benaguasil, en lugar de una voz robótica. El audio con el que contaba el equipo para trabajar eran mensajes de voz extraídos de whatsapp, pero se trataba de un material escaso, puesto que cuando Fran perdió la capacidad del habla cuando apenas comenzaba a usarse el sistema de audios en esta app de mensajería.

Recuperar el timbre e identidad de Fran

El proyecto desarrollado para Fran trasciende lo tecnológico: la recreación fiel de la voz de una persona, utilizando un sistema de clonación basado en IA que ha logrado recuperar su timbre, su prosodia, su identidad. Y en definitiva, su manera única de decir las cosas, sustituyendo de este modo la voz robótica de una aplicación de comunicación controlada por los ojos, por su propia voz. "Para mí ha sido una alegría inmensa trabajar en este proyecto de recuperar mi voz con IA", explica.

En este proceso, la familia ha jugado un papel fundamental puesto que ha ayudado en el proceso de construcción del habla y ha posibilitado ajustar la carga emocional, la entonación o la intención del mensaje mediante un editor que respeta la identidad sonora de Fran. Además, la herramienta es editable por lo que ellos pueden generar el texto, dado que entienden lo que él quiere decir. La tecnología solo pone la voz: la emoción sigue siendo suya.

Este proyecto no sólo ha permitido a Fran Vivó recuperar su identidad, sino que abre un abanico de posibilidades a los enfermos de ELA, ayudándoles a recuperar quiénes son y tener esperanza en la vida. "A pesar de las grandes dificultades que sufrimos en este avanzado estado de la enfermedad, estoy seguro que los afectados prodrán beneficiarse de esta investigación", asegura Fran.

Potencial humanizador de la IA

El grupo VertexLit, que ha realizado este proyecto de manera totalmente altruista, pretende mostrar el potencial humanizador de la IA, puesto que ésta puede devolver capacidades perdidas y dignificar la vida de personas que viven situaciones extremas. Este proyecto no busca sobresalir por su complejidad técnica, sino por su impacto humano. Asimismo, Jordi Linares, director del grupo VertexLit afirma que con el proyecto buscan dar visibilidad a las personas afectadas por ELA, puesto que la ELA continúa siendo una enfermedad invisible en la conversación social y mediática, a pesar del sufrimiento inmenso que provoca en pacientes y familias, de manera que “esta voz no solo es para Fran. Es para todos ellos“, asegura.