قال أبو قدامة فصدق الله رؤياه. بلغ في الحديث مبلغا لم يبلغه كبير أحد.
وقال النسائي: كأن الله خلق علي ابن المديني لهذا الشأن.
وقال عباس العنبري: بلغ علي ابن المديني ما لو قُضي أن يتم على ذلك، لعله كان يقدم على الحسن البصري، كان الناس يكتبون قيامه وقعوده ولباسه، وكل شيء يقول أو يفعل أو نحو هذا.
وقال يعقوب الفسوي: قال علي ابن المديني: صنفت المسند مستقصى، وخلفته في المنزل، وغبت في الرحلة، فخالطته الأرضة، فلم أنشط بعد لجمعه.
وقال أبو يحيى صاعقة: كان علي ابن المديني إذا قدم بغداد تصدر الحلقة، وجاء يحيى، وأحمد بن حنبل والمعيطي، والناس يتناظرون، فإذا اختلفوا في شيء تكلم فيه علي.
وقال أحمد بن زهير: سمعت ابن معين يقول: كان علي ابن المديني إذا قدم علينا أظهر السنة، وإذا ذهب إلى البصرة أظهر التشيع.
وقال السراج: سمعت محمد بن يونس، قال: سمعت ابن المديني يقول: تركت من حديثي مائة ألف حديث، منها ثلاثون ألفا لعباد بن صُهيب.
قال السراج: قلت للبخاري: ما تشتهي؟ قال: أن أقدم العراق وعلي بن عبد الله حي، فأجالسه.
وقال إبراهيم بن معقل: سمعت البخاري يقول: ما استصغرت نفسي عند أحد إلا عند علي ابن المديني.
وقال أبو عبيد الآجري: قيل لأبي داود: أحمد أعلم أم علي؟ قال: علي أعلم باختلاف الحديث من أحمد.
وقال عبد المؤمن بن خلف: سألت صالح بن محمد جزرة، قلت: يحيى بن معين هل يحفظ؟ قال: لا، إنما كان عنده معرفة، قلت: فعلي ابن المديني، كان يحفظ؟ قال: نعم، ويعرف.