علاوه بر این، تاریخ ساخت این باغ را دوره سلجوقی میدانند؛ زیرا در آن روزگار، اتابک قراچه، حکمران فارس، اقدام به ساخت باغ تخت و چند باغ دیگر در شیراز کرده بود و ممکن است این باغ نیز به درخواست وی ساخته شده باشد. باغ ارم در دوران آل اینجو و آل مظفر و گورکانیان وجود داشته است؛ هرچند هیچ اطلاعاتی راجع به آن وجود ندارد؛ به غیر از یکی از غزلیات حافظ که از روی آن میتوان فهمید آل اینجو اختیار باغ را در دست داشتهاند.
در ادامه باغ ارم به تصرف سلاطین آل مظفر درمیآید. اطلاع دقیقی از وضعیت باغ در دوران صفوی نیست و فقط در نوشتههای جهانگردان خارجی به آبادی و شکوه باغهای آن دوران اشاره شده است. در هر صورت از صفویه به بعد، همه باغهای ایران منجمله باغهای شیراز توسعه و رونق پیدا میکنند و باغ ارم مرمت میشود.
از اواخر دوران زندیه حدود ۷۵ سال باغ در اختیار سران ایل قشقائی بود و از آن بهعنوان مقر فرمانروایی خود استفاده میکردند و عمارتی در این باغ ساختند. پس از آن در زمان ناصرالدین شاه هم پایه عمارت دیگری در باغ نهاده میشود که ساخت آن چندین سال طول میکشد. طبق شواهد، ساختمان اصلی باغ تا دوران ناصرالدین شاه قاجار وجود داشت و زمانی که حاج نصیرالملک شیرازی باغ را خریداری میکند، ظاهرا بر اساس آن، عمارت فعلی باغ را میسازد.
ابوالقاسم خان نصیرالملک، داماد و خواهرزاده او، تزیینات بنا و برخی نقاط نیمه کاره را تکمیل میکند. کتیبهای از سنگ مرمر در بالای سر در ورودی شمال شرقی باغ وجود دارد که با خط نستعلیق روی آن نوشته شده است:
«از وزیر شه نصیرالملک راد، دائمش باغ ارم آباد باد»
این مربوط به زمانی است که نصیرالملک در دوره سلطنت مظفرالدینشاه قاجار، حکمران فارس بود.
۶ کتیبه سنگی نیز در نمای شرقی ساختمان دیده میشود که تاریخهای مختلفی دارند و نام نصیرالملک در آنها به چشم میخورد.
در نهایت باغ ارم به مالکیت همسر شاه پهلوی درمیآید که آن را به دانشگاه شیراز واگذار میکند و برای کاخ پذیرایی به کار میرود. از آنجا که ساختمان باغ در اثر عوامل طبیعی مخروبه شده بود، در فاصله سالهای ۱۳۴۵ تا ۱۳۵۰ تعمیرات اساسی روی آن انجام و یک دیوار سنگی با نرده آهنی بهجای دیوار باغ احداث میشود؛ ضمن اینکه مرمت تزیینات بخشهای مختلف نظیر آینهکاری و نقاشیهای سقف اتاقها و ایوانها در دستور کار قرار میگیرد. علاوه بر بازسازی محوطه باغ که مخروبه شده بود، زمین بسیار بزرگی به باغ ارم اضافه میشود.
باغ زیبا و دلنشین ارم که در حال حاضر در اختیار دانشگاه شیراز قرار دارد، حدود ۱۱۰ هزار متر مربع مساحت دارد و اغلب با درختان نارنج و سرو پوشیده شده است. در سی وپنجمین اجلاس کمیته میراث جهانی یونسکو در تاریخ ۶ تیرماه ۱۳۹۰، باغ ارم شیراز در فهرست میراث جهانی ثبت شد.
باغ ارم در خیابان ارم، نزدیک به میدان ارم و در نزدیکی مجموعه دانشگاه شیراز قرار دارد.
نزدیکترین ایستگاه مترو به باغ ارم، ایستگاه متروی نمازی است که پس از پیاده شدن از قطار میتوانید با حدود ۱۰ دقیقه پیادهروی و عبور از میدان دانشجو و میدان ارم، به باغ ارم برسید یا با استفاده از تاکسی بهسمت باغ بروید.