الرجال ينزلون في هذا القصر المنيف قصر نصيف، فلم يكن في مدينة جدة فندق أو دار ضيافة فكان قصر نصيف هو قصر الضيافة لكل من قدم إلى الحجاز من عظماء الرجال وفى عام ١٣٤٤ هـ حين استيلاء المغفور له الملك عبد العزيز على الحجاز بعد انتهاء الحكم الهاشمى كان قصر نصيف بجدة هو منزل جلالته حين دخوله إلى جدة لأول مرة وفى هذا القصر كانت الوفود تصل إلى جلالته لمبايعته ملكا على الحجاز كما شهد هذا القصر كل الاجتماعات التي كانت تعقد لترتيب أمور الدولة الجديدة وقد اتخذ جلالة الملك عبد العزيز رحمه الله من هذا القصر مقرا له لسنوات طويلة كما قدم إلى مدينة جدة، ثم انتقل إلى القصر الأخضر بالعمارية الذى بناه المرحوم الشيخ على العمارى ناظر عموم الرسوم بجدة خصيصا لنزول جلالته وقد سميت المنطقة بالعمارية نسبة إلى اسم الشيخ على العمارى رحمه الله، وبعدها انتقل جلالة الملك عبد العزيز إلى قصر خزام بالنزلة وهو القصر الذى قام ببنائه خصيصا لجلالته المعلم محمد بن لادن رحمه الله واستمر جلالته يتخذ من قصر خزام مقرا له إلى حين وفاته.
ولما توفى الأفندى عمر نصيف انحصر إرثه في بناته الست وفى الشيخ محمد نصيف الذى كان المعصب لجده المتوفى فعمل والى جدة التركى راتب باشا على أن يكون القصر من نصيب الشيخ محمد نصيف لأنه الشخص الوحيد من الورثة القادر على إبقائه مستعدا لاستقبال الضيوف من ملوك وعظماء وهكذا كان، وتقديرا لمكانة هذا القصر ومنزلته التاريخية أمر جلالة المغفور له الملك فيصل بشرائه من ورثة الشيخ محمد نصيف بعد وفاته بما يحويه من مكتبة الرحوم الشيخ محمد نصيف ليكون القصر بالمكتبة نواة لمكتبة كامة في مدينة جدة حيث يقع القصر في قلب المدينة القديمة وقد اشترته الدولة ولكن استعماله كمكتبة عامة لم يتم حتى الآن.