سجنا يحبسون فيه أصحاب الجرائم يسمى خزانة شمايل، وقد تقدم سبب ذلك فى أول التاريخ فى دولة بنى أيوب، وكان الملك المؤيد شيخ من جملة من حبس فيها فنذر على نفسه أن بقى سلطانا يهدم ذلك ويبنى مكانه جامعا فكان الأمر كذلك، وبنى ذلك جامعا وقد تناهى فى زخرفه ورخامه وأبوابه وسقوفه، حتى قيل ما بنى بمصر مثله ومثل مدرسة السلطان حسن، وأودع فيه من الكتب النفيسة أشياء كثيرة وقرر فيه حضورا من بعد العصر وطلبه، وقرر الشيخ شمس الدين الديرى الحنفى شيخ الحضور قيل إنه أول ما حضر فى الجامع، حضر العلماء والفقهاء والسلطان المؤيدى فخرج الشيخ شمس الدين الديرى من الخلوة والمقر الصارمى إبراهيم ولد السلطان الملك المؤيد حامل سجادة الشيخ شمس الدين وفرشها له فى المحراب وملأ السلطان فى ذلك اليوم الفسقية التى فى صحن الجامع سكرا وماء ليمون ووقف رءوس النواب يفرقون على الناس السكر بالطالسات، وأخلع السلطان فى ذلك اليوم خلعا كثيرة على مشيدين العمارة والمهندسين لكل واحد خلعة ولما بنوا مأذنة هذا الجامع مالت عندما كمل بناؤها فأمر السلطان بهدمها فهدمت وأعيدت ثانيا وقد تداعب فى هذه الواقعة قاضى القضاة شهاب الدين بن حجر.
لجامع مولانا المؤيد رونق … منارته تزهوا من الحسن والدين
يقول وقد مالت عليهم ترفقوا … فليس على هدمى أضر من العين
فأجاب عن ذلك القاضى بدر الدين العينى فقال:
منارة كعروس الحسن قد جليت … وهدمها بقضاء الله والقدر
قالوا اطلت بعين قلت ذا غلظ … ما اوجب الهدم إلا حنتة الحجر
ومما قيل فيها أيضا:
منارة لبواب الله قد بنيت … فكيف هذه فقالوا توضح الخيرا
أضاءت العين أحجار بها ايفلقت … ونظرة العين قالوا تفلق الحجرا
وقال الشعراء فى ذلك مداعبات كثيرة، ولما كان أول جمعة خطبت فى هذا الجامع حضر القضاة وأعيان الناس وأكابر العلماء وسائر الأمراء فخطب القاضى ناصر الدين بن البارزى فيه وكان يوما مشهودا.