فلما اجتمعت الحجارة وأراد هدمها خرج أهل مكة منها إلى منى، فأقاموا بها ثلاثًا فرقًا من أن ينزل عليهم عذاب لهدمها، فأمر ابن الزبير بهدمها، فما اجترأ أحد على ذلك، فلما رأى ذلك، علاها هو بنفسه فأخذ المعول وجعل يهدمها ويرمي بحجارتها، فلما رأوا أنه لم يصبه شيء اجترءوا فصعدوا يهدمونها، وأرقى ابن الزبير فوقها عبيدًا من الحبش يهدمونها؛ رجاء أن يكون فيهم صفة الحبشي، الذي قال رسول الله ﷺ:"يخرب الكعبة ذو السويقتين من الحبشة" قال: وقال مجاهد: سمعت عبد الله بن عمرو بن العاص يقول: كأني به أصيلع، أفيدع، قائم عليها، يهدمها بمسحاته.
قال مجاهد: فلما هدم ابن الزبير الكعبة، جئت أنظر، هل أرى الصفة التي قال عبد الله بن عمرو؟ فلم أرها فهدموها وأعانهم الناس، فما ترجّلت الشمس حتى ألصقها كلها بالأرض من جوانبها جميعًا (١).
وكان هدمها يوم السبت النصف من جمادى الآخرة سنة أربع وستين، ولم يقرب ابن عباس مكة حين هدمت الكعبة، حتى فرغ منها، وأرسل إلى ابن الزبير: لا تدع الناس بغير قبلة، انصب لهم حول الكعبة الخشب، واجعل عليها الستور حتى يطوف الناس من ورائها ويصلوا إليها، ففعل ذلك ابن الزبير، وقال ابن الزبير: أشهد لسمعت عائشة ﵂ تقول: قال رسول الله ﷺ: "إن قومك استقصروا في بناء البيت، وعجزت بهم النفقة، فتركوا في الحجر منها أذرعًا، ولولا حداثة قومك بالكفر، لهدمت الكعبة وأعدت ما تركوا منها، ولجعلت لها بابين موضوعين بالأرض، بابًا شرقيا يدخل منه الناس، وبابًا غربيا يخرج منه الناس، وهل تدرين لم كان قومك رفعوا بابها؟ " قالت: قلت: لا، قال: "تعززًا ألا يدخلها إلا من أرادوا، فكان الرجل إذا كرهوا أن يدخلها، يدعونه أن يرتقي حتى إذا كاد أن يدخل دفعوه فسقط، فإن بدا لقومك هدمها، فهلمي لأريك ما تركوا في الحجر