Peygamber Efendimiz (s.a.v.) Medine-i Münevvereye hicret ettiklerinde ilk olarak orada bir mescid yaptırmışlardır. Mescid-i Nebevî’nin inşasına başlanacağı sırada Cebrâil aleyhisselam indi ve duvarlarının yedişer arşın yüksekliğinde olmasını, hiçbir tarafına nakış ve ziynet yapılmamasını ve harcın sade çamurdan ibaret bulunmasını tavsiye etti.
Resûlullâh Efendimiz (s.a.v.) bir taş alıp temele besmele ile koydular. Sonra Hazret-i Ebûbekir, Hz. Ömer, Hz. Osman ve Hz. Ali’ye sıra ile birbiri yanına taşlar koymalarını emir buyurdular. Bunun hikmetini sual edenlere:
“Bu zatların halifeliklerine işarettir” buyurdular.
Resûlullâh Efendimiz (s.a.v.), Kıble değiştirildiğinde Mescidü’l-kıbleteynde öğle namazını kıldıktan sonra Mescid-i Nebevîye teşrif buyurdular. Hemen Hazret-i Cebrail aleyhisselâm indi ve:
“Yâ Resûlallâh! Ben Beytullah ile Mescidiniz arasındaki ağaç ve taşları kaldırdım. Mescidinizin mihrâbını Beytullâh’a bakarak yerleştiriniz” dediler.
Resûlü Ekrem Efendimiz (s.a.v.) Beytullâh’ı görerek mihrâbın mevkiini bizzat tayin ettiler ve mihrab-ı şerifin Mîzâb-ı rahmeye (Altın Oluk’a) mukâbil olduğunu haber verdiler. Bu vak‘a Bedir gazâsından iki ay önce olmuştur.