وولي إمامة الجامع بقصبة سبتة، والخُطْبَة بها، والأمانة على مفاتيح البلد، والقصبة، والبحر، ثم خرج منها عام ثلاثين وست مئة في فتنة ابن المنصور وسطوته، خوفًا على نفسه، فاستوطن الجزيرة الخضراء ستة أعوام، ملازمًا للعلم، عاكفًا على الصلاح والخير، وبنى بها مسجدًا، ثم عاد إلى سبتة سنة ست وثلاثين، وعاد إلى ما كان عليه من الولايات والجاه.
ولما ولي الوزير أبو علي ابن خلاص سبتة سنة إحدى وأربعين، أبقاه على حاله ثقةً به وركونًا إليه، فلما مات ابن خلاص، خرج في سنة سبع وأربعين، وتوجه إلى تونس، وأقام بها ملازمًا الجامع، محافظًا على التلاوة والخير، مشتغلًا بما يعنيه إلى حين وفاته.
وقيل له: لم لا تتزوج؟ فقال: ما صحبتُ أحدًا من طبقات الناس، وقلتُ له أي حاليك أفضلُ وأحبُّ إليك، إلا قال: الأوّل، قال: فاقتديتُ بالتجارب.
قال: وأنشدني في جارية اسمها نسيم، كان يَكْلَفُ بها ويهيم، ويستضيءُ بنورِ محيَّاها في الليل البهيم، وكانت من الأدب والظُّرف بحيث تختلس القلوب والألباب، وتعيد المشيب إلى أخلاق الشباب، فقال فيها قوله: شعر