ذكره الحاكم في "التأريخ" وقال: "كان من الحفاظ سمع بنيسابور وبمرو وهراة وجرجان والري وبغداد والكوفة والبصرة".
قال:"وكان مزاحًا، سمعت أبا علي الحافظ غير مرة يقول: "حدثنا أحمد بن حمدون إن حلت الرواية عنه". فقلت له يومًا: هذا الذي تذكره في أبي تراب من جهة المجون الذي كان فيه أو لشئ أنكرته منه في الحديث؟ قال: "في الحديث"، فقلت له: ما الذي أنكرت عليه؟ فذكر أحاديث حدث بها غير معروفة. فقلت له: أبو تراب مظلوم في كل ما ذكرته، ثم لقيت أبا الحسين الحجاجي، فحدثته بمجلسي مع أبي علي، فقال: "القول ما قلتَه".
قال الحاكم: "فأما أنا، فقد تأملت أجزاء كثيرة بخطه كتبها لمشايخنا فلم أجد فيها حديثًا يكون الحمل فيه عليه، وأحاديثه كلها مستقيمة سمعت أبا أحمد الحافظ يقول: حضرت مجلس أبي بكر ابن خزيمة إذ دخل أبو تراب الأعمشي، فقال له أبو بكر: يا أبا حامد! كم روى الأعمش عن أبي صالح عن أبي سعيد؟ فأخذ أبو تراب يذكر الترجمة حتى فرغ منها وأبو بكر يتعجب من مذاكرته".
ثم ساق له الحاكم عدة حكايات مما كان يمزح فيه، ثم قال: "وإنما ذكرت هذه الحكايات لتعلم أن الذي أنكر عليه إنما هو المجون، فأما الإنحراف عن رسم أهل الصدق، فلا".
قال: "وقرأت بخط أبي الفضل الهاشمي: مات أبو تراب الأعمشي في ربيع الأول سنة إحدى وعشرين وثلاث مئة".