باغ سنگی یکی از جاذبههای استان کرمان و شهر سیرجان است. این محوطه که قبلاً باغ بوده به درویش خان اسفندیارپور تعلق داشت. او مردی ناشنوا بود که با خانوادهاش در ۴۰ کیلومتری سیرجان از طریق دامداری و کشاورزی زندگی میکرد. پس از اصلاحات ارضی در سال ۱۳۴۰، درویش خان برای اعتراض به از دست دادن املاکش، دست از باغداری برداشت تا اینکه همه درختان زمین باقی مانده او پس از تقسیم اراضی خشک شدند. او در زمینش گودالی حفر کرده و تنهی خشکیدهی درختی را در آن گذاشت، و پس از آن شروع به آویزان کردن سنگ ازشاخههای درخت کرد. درویش خان سالها به آباد کردن باغ سنگیاش همت گذاشت و این کار را تا اواخر عمرش ادامه داد، تا این که در نهایت، وسعت آن به ۱۰۰۰ متر و تعداد درختانش به ۱۸۰ عدد رسید.
درویش خان اسفندیارپور در ۸۳ سالگی در سال ۱۳۸۶ درگذشت و پیکرش در این باغ دفن گردید.