وكانت أسرة ابن حزم تعيش فى قرية تملكها تسمى منت ليشم من قرى مدينة لبلة على بعد خمسين كيلو مترا غربى إشبيلية، وبها ولد أبوه أحمد، ورحل منها مبكرا إلى قرطبة، ليحرز لنفسه ما استطاع من الثقافة، وسرعان ما لمع بين أقرانه بقدرته الأدبية وبلاغته ومعرفته بالتاريخ. وتعرّف عليه ابن أبى عامر حاجب الخليفة المؤيد أثناء الطلب والتلمذة، وكان يعجب به، فاتخذه وزيرا له سنة ٣٨١ مما جعله يسكن فى الجانب الشرقى من قرطبة بناحية الزاهرة مدينة أبى عامر ومجمع قصوره. وأقصاه فترة عن وزارته للنظر فى كور غربى الأندلس، ثم أعاده إلى الوزارة. وبلغ من ثقته به أن كان يستخلفه حين مغيبه عن قرطبة، ووزر من بعده لابنه عبد الملك المظفر. ورزقه الله بابنه على سنة ٣٨٤ ووكل تربيته فى صباه إلى جوارى قصره وكنّ على حظ كبير من الثقافة الأدبية-شأن أمثالهن من الجوارى فى قرطبة ومدن الأندلس-وفى ذلك يقول ابن حزم فى كتابه «الطوق»: «لقد شاهدت النساء وعلمت من أسرارهن ما لا يكاد يعلمه غيرى، لأنى ربّيت فى حجورهن، ونشأت بين أيديهن، ولم أعرف غيرهن، ولا جالست الرجال إلا وأنا فى حدّ الشباب وحين أبقل وجهى (نبت الشعر فيه) وهنّ علّمننى القرآن وروّيننى كثيرا من الأشعار ودرّبننى فى الخط». وجعلته هذه النشأة يستشعر مبكرا عاطفة الحب لمن؟ ؟ ؟ كن فى سنه من الجوارى، ويقول فى الطوق إنه أحب حينئذ جارية شقراء فما استحسن بعدها سوداء الشعر أبدا. وظل يختلط بهؤلاء الجوارى ويعيش معهن كما يقول إلى حد الشباب وحتى أصبح يافعا فى سن الثانية عشرة أو بعدها بقليل إذ يذكر أن أباه اصطحبه إلى مجلس الحاجب المظفر بن المنصور بن أبى عامر سنة ٣٩٦. ولم يلبث أن أخذ يتتلمذ للشيوخ وفى مقدمتهم ابن الجسور المتوفى سنة ٤٠٠ وعنه أخذ الحديث النبوى وتاريخ الطبرى وكان لا يزال فى سن مبكرة. وكثيرا ما كان يرافق أباه فى مجلس وزارته ويستمع إلى مادحيه من الشعراء ويحفظ بعض أشعارهم، وكان أبوه لا يزال يسكن الجانب الشرقىّ من قرطبة، حتى إذا بدأت الفتنة الكبرى سنة ٣٩٩ رأى أن يتحول عن دوره المحدثة فى هذا الجانب إلى دورهم القديمة فى الجانب الغربى من قرطبة، وكان الخليفة المؤيد هشام قد عزل وأعيد سريعا، فاتهمه بمساعدته للثائرين ضده واعتقل وأغرم إغراما ماليا فادحا، وتوفى سنة ٤٠٢.
وظل الفتى على فى هذه الأثناء يتابع دروسه على الشيوخ وقراءاته. ويتزوج من جارية له كلف بها تسمى نعما كانت غاية فى الحسن خلقا وخلقا، ولم يلبث القدر أن فجعه فيها وهو دون العشرين فالتاع لوعة شديدة، حتى ليقول إنه أقام بعدها سبعة أشهر لا يتجرد