Bagaza se hizo con el poder en un golpe de Estado en noviembre de 1976 contra el entonces mandatario, Michel Micombero, quien diez años antes se había convertido en el primer jefe de Estado de Burundi tras su independencia.
Bagaza, recordado por sus tareas de modernización y construcción de infraestructuras en el país, se mantuvo en la Presidencia hasta 1987, cuando fue derrocado en un golpe de Estado cuando se encontraba de viaje, siendo sucedido por Pierre Buyoya.
Tras el golpe, Bagaza se fue al exilio a Uganda, si bien posteriormente se trasladó a Libia, donde vivió hasta 1993. Un año después fundó el Partido para la Recuperación Nacional (PARENA), tarea que conjugaba con su cargo de senador vitalicio debido a que fue jefe de Estado.
El Gobierno de Burundi ha anunciado tres días de luto oficial por su fallecimiento.