وقال علويه: كنت مع المأمون لما قدم الشام، فدخلنا دمشق، وجعلنا نطوف فيها على قصور بني أمية، فدخلنا قصراً مفروشاً بالرخام الأخضر، وفيه بركة يدخلها الماء ويخرج منها فيسقي بستاناً، وفي القصر من الأطيار ما بغني صوته عن العود والمزمار، فاستحسن المأمون ما رأى، وعزم على الصبوح، فدعا بالطعام فأكلنا وشربنا، ثم قال لي: غن بأطيب صوت وأطربه، فلم يمر على خاطري غير هذا الصوت:
لو كان حولي بنو أميّة لم ... ينطق رجال أراهم نطقوا فنظر إلي مغضباً، وقال: عليك لعنة الله وعلى بني أمية، فعلمت أني قد أخطأت، فجعلت أعتذر من هفوتي، وقلت: يا أمير المؤمنين، أتلومني أن أذكر موالي بني أمية، وهذا زرياب مولاك عندهم بالأندلس، يركب في أكثر من مائة مملوك وفي ملكه ثلاثمائة ألف دينار دون الضياع، وإني عندكم أموت جوعاً، وفي الحكاية طول واختلاف، ومحل الحاجة منها ما يتعلق بزرياب، رحم الله تعالى الجميع.
وذكرها الرقيق في كتاب " معاقرة الشراب " على غير هذا الوجه، ونصه: وركب المأمون يوماً من دمشق يريد جبل الثلج، فمر ببركة عظيمة من برك بني أمية، وعلى جانبها أربع سروات، وكان الماء يدخل سيحاً، فاستحسن المأمون الموضع، ودعا بالطعام والشراب، وذكر بني أمية، فوضع منهم وتنقصهم، فأخذ علويه العود واندفع يغني:
أرى أسرتي في كلّ يومٍ وليلةٍ ... يروح بهم داعي المنون ويغتدي
أولئك قومٌ بعد عزّ وثروة ... تفانوا فإلاّ أذرف العين أكمد فضرب المأمون بكأسه الأرض، وقال لعلويه: يا ابن الفاعلة، لم يكن لك وقت تذكر مواليك فيه إلا هذا الوقت فقال: مولاكم زرياب عند موالي بالأندلس يركب في مائة غلام، وأنا عندكم بهذه الحالة! فغضب عليه نحو شهر، ثم