سمي القصر نسبة للعائلة التي أقامت واستقرت فيه، وقد تم استخدامه كدار للحكم في حمص بعد قلعة أسامة وذلك في نهاية عهد الأسرة الأسدية التي حكمت حمص طويلاً، ويدلنا على ذلك تصميم البناء وتحصيناته العسكرية والذي يتألف من قسمين رئيسيين:
الأول:
ويسمى "الدار الكبيرة" وتضم ثلاثة أجنحة:
الشمالي، الشرقي، الغربي.
وهذه تعود للعهد المملوكي (القرن13م)، وتقول لوحة تأسيس البناء أن بانيه هو علي بن أبي الفضل الأزهري.
الثاني:
فيعرف "بالقصر" ويشمل القسم الجنوبي الذي يعود للعهد العثماني (أواخر القرن 18 م وأوائل القرن 19)، بانيه أحمد أبو المعالي القاضي، وقد بني هذا القسم فوق قبوين من العهد البيزنطي، كما اكتشف تحت القبوين مدفن يعود للقرون الميلادية الأولى.
وقد ألحق بالقصر بناء آخر في القسم الشرقي منه أنشأ فيه الشيخ موسى بن زهرة زاوية وجامعاً خاصاً به، أما آخر إضافة للقصر فهي الملحق الغربي الذي بناه عبد القادر الزهراوي.
يتألف، من بناء مربع ذي طابقين يطلان على الباحة التي يشكل الإيوان ركنها الجنوبي، ثم تتوزع أبواب الغرف على بقية جوانب الباحة.
تعلو البوابة الرئيسية للقصر قنطرة ذات قوس ثلاثي الفصوص، وقد أغلقت تلك البوابة عند انهيار القسم الغربي في القصر وأقيم مكانها سبيل ماء واستعيض عنها بالمدخل الحالي على يسار البوابة الرئيسية.
تتجلى في القصر تقاليد معمارية غنية تدل بشكل واضح على تعدد مراحل البناء في القصر، وعلى عصور تاريخية متباعدة، فالتأثير الفارسي يتضح بالأقواس المرتكزة على الجدران والتي تلتقي في الأعلى لتشكل قوساً كبيراً، كما أن الأقواس التي بشكل حدوة حصان هي من التقاليد المعمارية العباسية، وهناك المقرنصات الأيوبية والزخرفة المملوكية، وعلى أحد جدران القصر نجد كتابة تعود للعهد الأموي.
ويوجد شعار مملوكي يعود للملك الظاهر بيبرس وهو شعاره المشهور (السبعين المتقابلين)، وقد نقش على حجر ووضع على الواجهة الشمالية لباحة القصر.
من أجمل الأعمال الفنية في القصر سقف الإيوان بمقرنصاته المزخرفة بدقة وإبداع، والتي تتخذ الشكل البيضوي، حيث ترتكز أقواس السقف على الجدران.
وقد قامت مديرية الآثار مؤخراً بترميم القصر، وسيتم قريباً افتتاحه كمتحف للتقاليد الشعبية والحرف اليدوية، حيث سيضم ضمن أجنحته وقاعاته جميع الصناعات اليدوية التي انقرضت، أو التي في طريقه للانقراض، وعدة نماذج للأساس المنزلي الريفي وأثاث المنزل الحمصي، فضلاً عن الألبسة المنزلية والأزياء التقليدية والأسلحة الشعبية، بالإضافة لتخصيص قاعة للأطفال تحتوي على مجموعة من الألعاب التي تخلى عنها الجيل الحالي.
يشار إلى أن القصر سجل أثريا عام 1967 واستملكته مديرية الآثار عام 1978 بغية المحافظة عليه وترميمه وتوظيفه كمتحف للتقاليد الشعبية.