Hz. İbrahim, karısı hz. Hacer ve oğlu hz. İsmail'i kendilerine yetecek kadar su ve yiyecekle bırakarak ayrılır. Etraf çöl, kimsecikler yok tabi. Bir süre sonra yiyecek ve su tükenince çaresizce etrafı kolaçan eden hz. hacer tek çare olarak allah'a dua eder ve oğlu ismail'in ayakları dibinde suyun kaynadığını görür. Tam o esnada hacer "zem, zem" (akma, dur) diyerek suyun etrafını toprakla kabartarak birikmesini sağlar. İşte böylece suyun adı da o zamandan beri aynı kalır.
Bu şekilde rivayet edilen olayın yaşanış tarihi yaklaşık olarak milattan önce 2000'lere denk gelmektedir. Zemzem suyunun bölgeye hayat vermesi insanları da oraya çekmiş, orada bir yerleşim yeri kurulmuş. Sonra dini bir merkez haline gelmesiyle ticaret de gelişmiş ve çeşitli su kaynakları çıkarılmaya başlanınca zemzem zamanla gözden düşmüş ve zemzem kuyusu toprak altında kalmıştır.
Nihayetinde hz. Muhammed'in dedesi abdulmuttalib zemzem suyunun kaynağını yeniden ortaya çıkararak günümüze dek gelmesini sağlamıştır.