Rahmani fue un ayudante cercano al antiguo líder de los talibán, el mulá Mohamad Omar, y fue gobernador de la provincia de Kandahar (sur) y líder de la zona sur del país durante el Emirato Islámico de Afganistán (1996-2001), nombre del país durante el régimen talibán.
Rahmani era además uno de los líderes del grupo que ha participado en reuniones para intentar alcanzar un acuerdo de paz con el Gobierno, tal y como ha recogido la agencia local de noticias Jaama Press.
Asimismo, fue uno de los comandantes talibán que se opuso inicialmente al nombramiento del mulá Ajtar Mansur como líder del grupo tras la muerte del mulá Omar, si bien posteriormente le juró lealtad.