Ruffin comenzó su trayectoria musical en los sesenta grabando para el sello Motown y es principalmente conocido por su éxito de 1966 'What becomes of the brokenhearted'.
A lo largo de su trayectoria, Ruffin (hermano mayor de David Ruffin de The Temptations) grabó una decena de discos con los que se consolidó como artista, más en el Reino Unido que en su Estados Unidos natal.