واتفق أن سعى في إثر ذلك بابن مروان، ونسب له تقصير في صدقات خرجت على يده، فعزله المنصور وولى على قضاء الجماعة ابن بقى المذكور. فلقيه ابن مروان في إثر ذلك، وكان مفاكهاً حسن الخلق طيب النفس، فقال له: أفترى؟ لقد أقبل وأدبر ونحن نصبر كما صبرت! فاستحيا ابن بقى فلم يجاوبه بحرف.
ثم لما ولى الناصر رده إلى قضاء الجماعة، فلم يزل عليه إلى أن مات في سنة إحدى وستمائة.
ومما شنع عليه أعداؤه أنه نزل بتلمسان في دار يهودي، فاحتفل في إكرامه وأحضر له جميع ما قدر عليه، فخلا به وذاكره في دينه، ثم داعبه حتى أحضر له من طاهورتهم. فيقال إنه قال: يا إسرائيلي، دياركم نظيفة، وطعامكم طيب، وشرابكم رائق، ما أظنكم إلا على الحق.
قال والدي: ما تكاد تجد فقيهاً من طلبة الغرب إلا وهو يحفظ هذه الحكاية، وقد سارت بها الركبان، والله أعلم بالحقائق.