El líder de la banda estadounidense, Michael Stipe, comenta en la web del grupo que "On my heart" es una canción "muy tranquila y reflexiva sobre Nueva Orleans".
"On my heart" es el tercer tema de "Collapse Into Now" hecho público por la banda de Athens, formada actualmente por Michael Stipe, Peter Buck y Mike Mills. Las otras dos canciones ya presentadas son "It happened today" y "Discovered".
A lo largo de sus 30 años de historia, R.E.M. ha publicado éxitos como "Losing my religion", "Daysleeper", "Everybody hurts" o "Man on the Moon".