يقع هذا المسجد تحت الجامع القبلي، يدخل إليه عبر درج حجري يقع قرب الرواق الأوسط في الجهة الشمالية للجامع القبلي، وهو عبارة عن ممر يتكون من رواقين باتجاه الجنوب بنيا في العهد الأموي، وكانا يؤديان إلى الباب المزدوج (أحد أبواب المسجد الأقصى المبارك المغلقة اليوم) ومنه إلى القصور الأموية أي دار الإمارة) التي كانت تقع جنوب المسجد الأقصى المبارك خارج أسواره ويوجد عند المدخل الشمالي للمصلى غرفة صغيرة كانت تستخدم للحرس، كما أن هناك غرفة أكبر تقع عند بقايا الباب المزدوج عند المدخل الجنوبي للمصلى، وهذه الغرفة كانت أيضا تستخدم للحرس، وهي تحتوي على محراب في مدخلها، ويوجد فيها بئر عميق فارغ ومغلق الآن، ولهذا البئر قصة معروفة يرويها أهالي القدس وحراس المسجد الأقصى المبارك، حيث كان قديماً عامراً بالمياه، حتى قامت سلطات الاحتلال بتفريغه من الماء واستخدامه للتسلل إلى الأقصى. ومن أشهر من تسلل إلى الأقصى منه وزير الحرب الصهيوني عام 1967 موشيه دايان ولذلك قامت دائرة الأوقاف بإغلاق هذا البئر وإضاءته باستمرار لضمان عدم قيام أي شخص من العناصر الصهيونية المتطرفة بالتسلل إلى الأقصى من خلاله.

ومن العناصر المعمارية المميزة في مصلى الأقصى القديم قبتان أمويتان مسطحتان تقومان فوق مدخله الجنوبي، وعندهما يوجد أعمدة حجرية ضخمة تشكل الأساس الذي تقوم عليه منطقة قبة الجامع القبلي، وهذه الأعمدة مدعمة بجسور خرسانية تم إضافتها خلال ترميم المجلس الإسلامي الأعلى لهذا المكان عام 1927 2 وتقع في الجهة الجنوبية الغربية منه اليوم المدرسة الحتنية التي بنيت خارج الأقصى المبارك بعد إغلاق الباب المزدوج أيام السلطان الناصر صلاح الدين الأيوبي.

وكان هذا المصلى مغلقا ولا يفتح إلا في حالات الضرورة حتى عام 1998م، حين تم تنظيفه وإعداده ليكون مكانا دائماً للصلاة على يد لجنة التراث ومؤسسة الأقصى وبرعاية دائرة الأوقاف الإسلامية، وتم في ذلك الوقت تهوية المكان وتمديد الكهرباء فيه لإضاءته وتهويته بشكل كامل ودائم، ومن ثم تم فرشه بسجاد أحضر إليه من تركيا، وافتتح للصلاة في العام نفسه، وهو يتسع اليوم لحوالي ألف مصل