لما حضرته الوفاة أوصى إلى أخيه إسحاق مائة وسبعا وثلاثين سنة . وروي عن عمر بن عبد العزيز أنه قال : شكا إسماعيل عليه السلام إلى ربه عز وجل حر مكة فأوحى الله إليه أني سأفتح لك بابا إلى الجنة إلى الموضع الذي تدفن فيه تجري عليك روحها إلى يوم القيامة . ودفن إسماعيل نبي الله بالحجر مع أمه هاجر ، وكان عمره يوم مات
وفي ذلك الموضع توفي .
قال خالد المخزومي: فيرون أن ذلك الموضع ما بين الميزاب إلى باب الحجر الغربي فيه قبره .
وقال صفوان بن عبد الله الجمحي: حفر ابن الزبير الحجر فوجد فيه سفطا من حجارة أخضر ، فسأل قريشا عنه فلم يجد عند أحد منهم فيه علما ، فأرسل إلى أبي فسأله فقال: هذا قبر إسماعيل عليه السلام .
وفي رواية: أنه وجد حجارة خضراء منطبقا بها ، فقيل له: هذا قبر إسماعيل .
وقيل: بل قبره مقابل الحجر الأسود . وقال ابن الزبير: هذا المحدودب -يشير إلى ما يلي الركن الشامي من المسجد الحرام- فقبور عذارى بنات إسماعيل . قال: وذلك الموضع سوي مع المسجد ولا يثبت أن يعود محدودبا كما كان .
قال علماء السير: لما توفي إسماعيل دبر أمر الحرم بعده ابنه نابت بن إسماعيل ، وقيل: اسمه نبت ، وأمه الجرهمية ، ثم مات نبت ولم يكن ولد إسماعيل ، فغلبت جرهم على ولاية البيت .
وعن أبي الجهم بن حذيفة بن غانم ، قال: توفي إسماعيل بعد إسحاق فدفن داخل الحجر مما يلي الكعبة مع أمه هاجر . وولي نابت بن إسماعيل البيت بعد أبيه مع أخواله جرهم .
قال وعن إسحاق بن عبد الله بن أبي فروة ، أنه قال: ما يعلم موضع قبر نبي من الأنبياء إلا ثلاثة: قبر إسماعيل ، فإنه تحت الميزاب بين الركن والبيت ، وقبر هود فإنه في خصف تحت جبال اليمن عليه شجرة نداء ، وموضعه أشد الأرض [حرا] ، وقبر رسول الله صلى الله عليه وسلم .