Azerbaycan'ın Bakü kentinde doğdu. 6 yaşında müzik okuluna başladı. 16 yaşında girdiği Bakü Konservatuvarı piyano bölümünden 1959 yılında mezun oldu. Bir yıl piyano öğretmenliği yaptı. 1960'da St. Petersburg Konservatuvarı Orkestra şefliği bölümüne girdi. 1965 yılında okulu bitirdikten sonra Bakü Devlet Opera ve Balesi'nde şeflik görevine başladı. 1968'den 1984 yılına kadar Bakü Devlet Opera ve Balesi'nin genel müzik direktörlüğünü sürdürdü. 1969'da aynı toplulukla Paris, Lüksemburg ve Monte Carlo'da turnelere katıldı.

Bakü Devlet Konservatuvarı profesörlerinden olan Abdullayev, 1984 yılından bu yana Bakü Devlet Senfoni Orkestrası genel müzik direktörü olarak çalışmaktadır. Ayrıca Azerbaycan Devlet Sanatçısı da olan Rauf Abdullayev, Ensemble Solistleri Orkestrası ile Amerika, İngiltere, Almanya'da ve Azerbaycan Orkestrası ile Fransa, Almanya, Rusya'ya da konserler vermiştir. Şef, 1991-1997 yılları arasında Ankara Devlet Opera Balesi'nde genel müzik direktörlüğü yapmıştır.