Lima tahun sebelum Muhamad saw diangkat menjadi nabi, banjir besar melanda kota Makkah. Air menggenang dan menghantam ka’bah hingga nyaris roboh dan rusak. Maka, orang-orang Quraisy sepakat untuk merenovasi bangunannya sebagai bukti perhatian mereka yang teramat besar terhadap kedudukan Ka'bah yang sangat mulia. Mereka sepakat tidak memasukkan bahan-bahan bangunannya kecuali yang baik-baik. Hal lain yang mendorong pemugaran itu adalah karena dinding dinding Kabah pada saat itu hanya setinggi manusia dewasa dan tidak ada atapnya yang menyebabkan pernah ada pencurian terhadap sebagian barang berharga yang dipendam di bawah tanah yang memang di gali di dalam banguna itu sebagai tempat penyimpanan. Namun demikian karena sangat menghormati Kabah mereka ragu ragu melakukanya. Rencananya dinding dinding yang terdiri dari batu batu akan dilepas semuanya dan akan dibangun kembali secara utuh. Mereka semakin ragu karena setelah ada seekor ular besar yang setiap hari keluar dari dalam tanah dan berjemur di bawah matahari di sudut Kabah. Jika ada yang mendekat maka ular itu mengangkat kepalanya dan berdesis dengan mulut terbuka. Namun pada suatu hari ketika ular itu tengah berjemur datang seekor burung elang besar yang menukik dan langsung menyambar mencengkram ular itu dan membawanya pergi. Karena itulah kaum Qurays berkata diantara mereka sendiri "Kini kita boleh berharap Tuhan merestui maksud kita, kita mempunyai seorang pemahat dan kayu dan Tuhan telah membebaskan kita dari ular itu"
Orang pertama yang mengangkat batu dari atap salah satu dinding Kabah adalah Abu Wahb dari bani Makhzum, tapi begitu diangkat maka batu itu terlepas dari tanganya dan kembali ke tempat semula. Mereka semua menyingkir dari Kabah dan takut untuk meneruskan rencana mereka. Kemudian pemimpin bani Makhzum, Walid, ayah dari Khalid bin Malik, mengambil sebuah godam dan berkata "Aku akan memulai meruntuhkanya untuk kalian", lalu ia menuju Kabah dan berkata dengan suara lantang "Ya Tuhan, jangan marah, kami hanya menghendaki perbaikan", lantas Walid merobohkan bagian dinding di antara Hajar Aswad dan sudut Yamani yaitu dinding sebelah tenggara. Orang orang lainya mundur "biarlah kita lihat dulu" kata mereka,"kalau Walid terbunuh, kita tidak akan meruntuhkan dinding Kabah, dan akan membenahinya seperti semula, akan tetapi kalau ia selamat berarti Tuhan merestui pekerjaan kita dan kita akan terus meruntuhkan semuanya hingga rata dengan tanah", ujarnya.
Malam pun berlalu tanpa ada kejadian yang tidak diharapkan, keesokan paginya Walid kembali bekerja, maka orang orang pun bergabung denganya, ketika semua dinding batu tersebut telah runtuh dan menyisakan fondasi yang dibuat oleh Ibrahim as, mereka menemukan 2 batu bundar kehijauan seperti punuk unta yang terletak berdekatan. Seorang lelaki mencoba untuk mengungkit batu tersebut namun begitu batu tersebut bergerak maka ada gempa mengguncang seluruh kota Mekah dan mereka beranggapan bahwa itu sebagai pertanda agar mereka tidak mengusik ke dua batu tersebut.
Di pojok Hajar Aswad mereka menemukan sebuah tulisan berbahasa Suriah, mereka menyimpanya tanpa mengetahui isinya , kemudian ada seorang Yahudi membacakanya kepada mereka "Aku adalah Tuhan. pemilik Kabah, Aku ciptakan ia pada hari Ku ciptakan langit dan bumi, ketika Kuciptakan matahari dan bulan, serta ketempatkan disekelilingnya tujuh malaikat yang suci. Kabah akan tetap berdiri selama dua bukit di sekitarnya berdiri, berkah bagi penduduknya dengan susu dan air". Tulisan lainya di temukan di dalam maqam Ibrahim as, sebuah batu kecil di dekat pintu Kabah yang secara ajaib terdapat cetakan bekas telapak kaki Ibrahim as "Mekah adalah Rumah Tuhan yang suci, Para peziarahnya datang dari tiga penjuru, Jangan biarkan kaumnya menjadi orang pertama yang mencemarinya".
Kemudian kaum Qurays mengumpulkan batu lebih banyak lagi sebagai tambahan dari yang sudah ada untuk mempertinggi bangunan Kabah, Mereka membagi sudut-sudut Ka'bah dan mengkhususkan setiap kabilah dengan bagiannya masing-masing. Setiap kabilah mengumpulkan batu-batu pilihan di sebuah tempat, lalu mereka pun mulai merenovasi bangunan Ka'bah. Pemugaran Ka'bah ini ditangani dan dipandu seorang arsitek Romawi yang bernama Baqum. Ketika pembangunan Ka'bah telah sampai di bagian Hajar Aswad, mereka berselisih pendapat tentang siapakah yang berhak mendapatkan kehormatan untuk meletakkan Hajar Aswad di tempatnya semula. Perselisihan itu terus berlanjut hingga sampai empat atau lima malam. Bahkan perselisihan itu semakin menajam dan meruncing hingga nyaris menimbulkan pertumpahan darah di tanah haram.
Abu Umayah bin al-Mughirah al-Makhzumy tampil dan menawarkan jalan keluar cemerlang yang mampu menengahi pertikaian di antara mereka. Yaitu dengan cara menyerahkan urusan ini kepada siapapun yang pertama kali masuk lewat pintu masjid, dan mereka semua menerima cara ini. Ternyata Allah SWT takdirkan bahwa orang yang pertama kali memasuki pintu masjid adalah Muhammad saw. Tatkala mereka mengetahui hal ini, maka di antara mereka saling membisikan kata: "Dia lah al-Amin (yang dapat dipercaya), kami ridha terhadapnya."
Setelah beliau memahami persoalan yang terjadi, maka beliau meminta sehelai kain lalu beliau meletakkan Hajar Aswad di tengah-tengah kain tersebut, kemudian beliau meminta kepada setiap pemimpin kabilah untuk memegang ujung-ujung kain tersebut. Lalu Muhamad saw memerintahkan mereka untuk mengangkatnya secara bersama-sama. Setelah mendekati tempatnya, beliau mengambil batu itu dan meletakkannya di tempat semula. Inilah cara pemecahan masalah yang sangat jitu dan diridhai semua orang.