وكان قد أخذ علم العربية وأخبار الناس عَن أبي عمرو، وابن أبي إسحاق الحضرمي، والخليل بن أحمد، ومن كان معهم في زمانهم.
وحكي عَن أبي حمدون الطيب بن إسماعيل أنه قال: شهدت ابن أبي العتاهية، وكتب عَن أبي محمد اليزيدي قريبا من ألف جلد، عَن أبي عمرو بن العلاء خاصة يكون ذلك نحو عشرة آلاف ورقة؛ لأن تقدير الجلد عشر ورقات. وأخذ عن الخليل من اللغة أمرا عظيما، وكتب عنه العروض في ابتداء صنعته إياه إلا أن اعتماده كان على أبي عمرو، لسعة علم أبي عمرو باللغة، وكان اليزيدي يعلم بحذاء منزل أبي عمرو، وكان أبو عمرو يدنيه ويميل إليه لذكائه.
وكان اليزيدي صحيح الرواية صدوق اللهجة، وألف من الكتب كتاب النوادر، وكتاب المقصور والممدود، وكتاب مختصر نحو، وكتاب النقط والشكل، وكان يجلس في أيام الرشيد مع الكسائي ببغداد في مجلس واحد يقرئان الناس، فكان الكسائي يؤدب محمد الأمين، وكان اليزيدي يؤدب عبد الله المأمون، فأما الأمين فإن أباه أمر الكسائي أن يأخذ عليه بحرف حمزة، وأما المأمون فإن أباه لما اختار له اليزيدي تركه يتعلم منه حرف أبي عمرو.
أخبرنا إبراهيم بن مخلد إجازة، وحدثنيه أحمد بن محمد بن أحمد بن قفرجل الكاتب عنه، قال: حدثنا المظفر بن يحيى الشرابي، قال: حدثنا العنزي، قال: حدثني إبراهيم بن سعدان قال: حدثني الأثرم قال: دخل اليزيدي على الخليل بن أحمد يوما وعنده جماعة، وهو على وسادة جالس فأوسع له، فجلس معه اليزيدي على وسادته، فقال له اليزيدي: أحسبني قد