ولكن ليس لدينا أي مصدر يؤكد تاريخ استيطانهم لجبال فيفاء، ولكن لدينا السبب في استيطانهم لهذه الجبال حيث إنهم استقدموا من قبل أهالي جبال فيفاء للاستفادة من علمهم وذلك منذ عهد بعيد.
كذلك وجود فخذ من قبيلة الأيتام وهم آل رمحة، ومنهم شيخ آل محرب والأيتام الشيخ علي بن يحيى وجده السادس يدعى قراد، ويعود نسبهم إلى منجد بهروب بالإضافة إلى قبيلة آل عمرو، وبالرغم عن أنها قبيلة صغيرة في فيفاء إلا أن نسبهم يعود إلى آل سلمة من قبائل بني مالك.
ويذكر كبار السن في فيفاء أن قبائل فيفاء تنقسم إلى أقسام وهم:
أولًا: قبائل آل مغامر: حيث يذكر الشيخ علي قاسم الفيفي أنهم يعودون في النسب إلى عبيد بن سعد بن الليث بن عبيد بن مالك بن زيد بن أرطأة بن شرحبيل ابن حجر بن الربيعة بن سعد بن خولان بن عمرو بن الحاف بن قضاعة، وعبيدًا هذا قد عاصر زمن الرسول -صلى الله عليه وسلم- بل إنه نسب جميع قبائل فيفا إلى سعد بن الليث والد عبيد هذا (أ - هـ).
ثانيًا: قبائل أولاد عطا بن أحمد، وقبائل آل عبيد بن أحمد: ويذكر كبار السن في فيفاء أنه في القديم أتى إلى فيفاء ثلاثة عن الإخوة وهم عطا بن أحمد واستقر في جبال فيفاء كذلك عبيد بن أحمد واستقر أيضًا هناك، ومالك بن أحمد الذي استقر في جبال بني مالك المحادة لفيفا، والذي تنسب إليه قبائل بني مالك هناك، ويعود نسب هؤلاء والله أعلم إلى هانئ بن خولان بن عمرو الحافي قضاعة ويطلق عليهم لقب يهنوي.
ولكن الشيء المهم والذي يجب أن يعرف من الجميع أن كل قبائل فيفاء والمناطق المجاورة لها المسامة بساق الغراب، يعود أصلهم جميعًا إلى خولان بن عمرو ابن الحاف بن قضاعة.
ويطلق على قبائل فيفاء لقب يهنوي، وعلى بعض القبائل المجاورة لها لقب فرودي وربما أن السبب في هذه التسمية يعود إلى الآتي: