أراد الخليفة (الذى يقول بعضهم إنه الوليد الأول، ويقول آخرون إنه هشام) أن ينتزع منه القول بأن صاحب حديث الإفك المجهول فى قصة عائشة التى أشارت لها الآية ١١ من سورة النور هو على. وأصر الزهرى على أن الرجل الذى تشير إليه هذه الآية هو عبد اللَّه بن أبى. والظاهر أن زيارة الزهرى للخليفة الوليد الأول فى شأن ابن عمه (البخارى تاريخ، ص ١٠٤) قد أثارت قصة غرامية نسبت هذا الحادث إلى أيام الخليفة هشام (الفهرست، ص ٣٠٧، س ٢١). وولاه الخليفة يزيد الثانى (١٠١ - ١٠٥ م) القضاء. وقد أثبت له الزهرى أيضا أنه ذو بصر بالشعر (كتاب الأغانى، جـ ٤ ص ٤٨). ووكل إليه خليفته هشام (١٠٥ - ١٢٥ م) تأديب أولاده. واتفق فى حديث له معه أن بدر منه كلام فى حق الأمير الوليد بن يزيد الذى ولى الخلافة من بعد، فلما بويع الوليد استقر رأى الزهرى على مغادرة البلاد، فقد اتصل بعلمه أن بعض الناس كان قد نقل كلامه إلى الأمير. على أن الزهرى أدركته المنية قبل هذا سنة ١٢٤ هـ فى ضيعته أدامى بالقرب من سَغْب، وكانت هذه الضيعة بعض ما أنعم به عليه الخلفاء الذين أظلوه برعايتهم. وقد جرى الزهرى، حتى بعد أن انتقل إلى دمشق، على أن يزور مسقط رأسه زيارات طويلة. فقد كان فى الحجاز فى تاريخ متأخر يرجع إلى سنة ١١٩ هـ الموافقة ٧٣٧ م (الطبرى، جـ ٢، ص ١٦٣٥).
وقد جمع الزهرى حشدًا عظيمًا من الأحاديث بفضل ما أبداه من همة لا تكل فى تقصيها لدى الشبان والشيب، والرجال والنساء، شريفهم وحقيرهم. ولم يكتف الزهرى ببذل الجهد فى توطيد دعائم السنة النبوية فحسب، بل وطد أيضًا سنة صحابة النبى -صلى اللَّه عليه وسلم-. وقد وصف بعضهم الزهرى فقال إنه أول من دون الحديث ولكنه إنما فعل ذلك نزولا على إرادة الأمراء الذين كانوا يشملونه برعايتهم، وشاهد ذلك أنه قال فيما رواه تلميذه معمر عنه "كنا نكره كتابَ (*) العلم، حتى أكرهنا عليه هؤلاء الأمراء". وكان شيوخ الزهرى يلوذون