Về lịch sử hình thành chùa Linh Ứng, theo tài liệu và lời kể của các vị Hòa thượng trụ trì tại chùa, thì dưới thời vua Lê Hiển Tông, niên hiệu Cảnh Hưng (1740 - 1780), có một vị ẩn sĩ đến tu tại động Tàng chơn, Ngài có tên là Quang Chánh, hiệu là Bảo Đài Đại Sư. Lúc đầu mới đến Ngài dựng một thảo am để ở gọi là “Dưỡng Chơn Am”. Sau một thời gian Ngài dựng một gian nhà tranh ở trước động Tàng Chơn và lấy hiệu là “Dưỡng Chơn Đường”. Khi vua Minh Mạng đến viếng cảnh Ngũ Hành Sơn, cùng lúc cho xây dựng lại chùa Tam Thai, nhà vua cũng cho xây lại “Dưỡng Chơn Đường” bằng gạch, ngói và đặt tên là “Ứng Chơn Tự” 應真寺 (chùa Ứng Chơn), tên này được khắc ghi trong tấm hoành phi hiện vẫn còn tại chùa, với dòng chữ “Ngự chế Ứng Chơn Tự, Minh Mạng lục niên phụng tạo” và ngôi chùa cũng được công nhận là Quốc Tự, đồng thời nhà vua đã sắc dụ bổ nhiệm Ngài Trần Văn Như pháp danh Chơn Như Đại Sư đang tu tại chùa Long Quang ở Huế về làm trụ trì chùa Ứng Chơn. Đến năm Thành Thái thứ 3 (1891), do kỵ húy nên chùa Ứng Chơn đã đổi lại thành tên chùa Linh Ứng và được ghi lại trên một tấm hoành phi: “Cải tứ Linh Ứng tự, Thành Thái tam niên” - Đổi lại thành chùa Linh Ứng, năm Thành Thái thứ 3 (1891). Tên chùa Linh Ứng từ đó tồn tại cho đến ngày nay  .

Cũng như chùa Tam Thai, chùa Linh Ứng qua thời gian và chiến tranh đã bị hư hại, nhất là bị tàn phá bởi trận bão năm 1901, sau đó chùa được xây dựng lại. Trong chùa thờ Phật Thích Ca, Phật Di Lặc, Phật A Di Đà, Văn Thù Bồ Tát, Phổ Hiền Bồ Tát và Thập Bát La Hán…Đến năm 1992, chùa đã được trùng tu, sửa chữa lại kiên cố hơn bằng bê tông cốt thép, mái lợp ngói âm dương, trên nóc chùa trang trí hình “lưỡng Long chầu Nguyệt”, cổng tam quan cũng được xây dựng và trang trí khá đẹp. Bên trong chánh điện, ở chính giữa đặt bàn thờ đức phật Thích Ca Mâu Ni ngồi niết già trên tòa sen rất trang nghiêm, thanh tịnh, hai bên là hai bàn thờ, thờ Đức Quán Thế Âm Bồ Tát và Đức Địa Tạng Bồ Tát, hai bức tường hai bên, có hai bàn thờ, thờ Thập Bát La Hán.

Bên phải chùa là Quan Âm Các xây trên một hồ nước và các bảo tháp, trong đó có tháp của ngài Bảo Đài Đại Sư và các vị Hòa Thượng trụ trì                    tại chùa. Bên cạnh chùa Linh Ứng về phía Đông Nam còn có ngôi tháp của Hòa thượng Thích Hương Sơn và ngôi tháp Đa Bảo bảy tầng cao khoảng 20m rất nguy nga, được xây vào năm 1996, mặt tiền tháp xây về hướng Đông, bên trong mỗi tầng tháp đều thờ tượng Phật, chư vị Bồ Tát, các vị đại đệ tử của đức Phật.

         Ở chùa Linh Ứng hiện còn lưu giữ nhiều bức hoành phi được lập vào các đời vua triều Nguyễn như bức “Ngự chế Ứng chân tự” 御製應真寺 - lập năm Thành Thái thứ 9 (1897), “Sắc tứ Linh ứng Tự” 敕賜靈應寺-  lập năm Thành Thái thứ 3 (1891), “Hữu tâm tượng giáo” 有心象教 - lập năm Thành Thái thứ 12 (1900), “Tuệ mệnh khả kế” 慧命可繼 - lập năm Bảo Đại thứ 8 (1933)...

          Hay các liễn đối như:

五 行 上 蓮 座 花 香 慈 雲 滿 布 慧 日 騰 輝 普 度 衆 生 多 妙 力

卅 年 前 派 誠 節 鎮 登 望 海 臺 陟 玄 空 洞 曠 懷 世 界 一 奇 觀

Ngũ Hành thượng liên tòa hoa hương, từ vân mãn bố, tuệ nhật đằng huy, phổ độ chúng sinh đa diệu lực,

Tạp[1] niên tiền phái thành tiết trấn, đăng Vọng Hải đài, trắc Huyền Không động, khoáng hoài thế giới nhất kỳ quan.

Trên núi Ngũ Hành, tòa sen ngát hương, mây lành che khắp, đuốc tuệ rạng soi, phổ độ chúng sinh nhờ bao diệu lực,

Ba mươi năm trước đến đây trấn nhậm, lên đài Vọng Hải, trèo động Huyền Không, mới thấy [thực là] kì quan bậc nhất đất nước.

Lạc khoản bên phải đề: “Bảo Đại thập lục niên xuân” (Mùa xuân năm Bảo Đại thứ 16 (1940). Lạc khoản bên trái đề: “Thái tử Thiếu phó Cần Chánh điện Đại học sĩ Phụ chính thân thần trí sự Cố vấn nguyên lão Phù Quang quận công Tôn Thất Hân cung đề” (Thái tử Thiếu phó Cần Chánh điện Đại học sĩ Phụ chính thân thần trí sự Cố vấn nguyên lão Phù Quang quận công Tôn Thất Hân kính đề).

          Hoặc

錦 石 清 奇 修 得 到

慈 雲 布 護 福 無 量

Cẩm thạch thanh kì tu đắc đáo,

Từ vân bố hộ phước vô lường.

Núi đá tuyệt đẹp, nên đến [đây] thưởng ngoạn,

Mây lành che khắp, phước thật vô lường.

Lạc khoản bên phải đề: “Hoàng triều Quý Dậu xuân” (Mùa xuân năm Quý Dậu thuộc Hoàng triều Bảo Đại (1933). Lạc khoản bên trái đề: “Sắc tứ Vu Lan tự bổn đạo quan viên đồng trang phụng” (Quan viên, bổn đạo chùa sắc tứ Vu Lan phụng cúng).

Cạnh chùa về bên trái là nhà thờ Tổ, nhà thờ xây dựng để thờ các vị Hòa Thượng đã trụ trì và mất tại chùa. Ở gian giữa nhà thờ, phía trên và chính giữa bàn thờ có một tấm biển ghi: “Lâm Tế Tông Phổ Lịch Đại Giác Linh” và trên bàn thờ có đặt các bài vị ghi tên các vị Hòa Thượng đã quá vãng.

Đặc biệt, trước nhà thờ Tổ còn có một phần đài thờ thuộc phong cách Đồng Dương, chạm hình thần Indra cỡi voi, chung quanh có các Apsara múa hát. Phần đài thờ này có chiều dài 0,9m, chiều ngang 0,47m và chiều cao khoảng 0,60m, được chạm trổ ở cả ba mặt, mặt thứ tư phía sau không thấy khắc, chạm. Nếu so với những phần đài thờ khác cùng phong cách đang trưng bày tại Bảo tàng Điêu Khắc Chăm, thì phần đài thờ này có lối thể hiện khá lạ. Chính giữa tác phẩm là hình tượng thần Indira (thần biểu tượng sấm sét) đang ngồi trên mình một con voi, với chân trái của thần đặt theo lỗi ngồi xếp bằng, lòng bàn chân ngửa hướng lên phái trên, bàn tay trái đặt lên đầu gối chân trái, còn chân phải co lại đầu gối đến ngang ngực, bàn tay phải cầm vật gì không rõ, cũng đặt lên đầu gối chân phải, gương mặt Thần trang nghiêm, đầu đội loại mũ Kirita Mukuta, tai dài, hoa tai buông xuống ngang vai có hình đoá hoa 4 cánh nhưng đã mòn mờ, Thần mặc loại Sampot ngắn, ngực và bụng để trần, còn voi được thể hiện trông rất ngộ nghĩnh, vòi dài và to, hai tai đang vểnh, bốn chân trong tư thế đang bước đi, đuôi dài đến gót chân. Ở hai bên Thần Indra chạm hình các nhạc công và sư tử được bố cục như sau: ở phía trên là hai nhạc công Gandhava và phía dưới là hai sư tử, tất cả đều quay lưng lại với nhau và đối xứng qua trục giữa là thần Indra, các nhạc công đang trong tư thế múa hát, mặt rạng rỡ tươi vui, đồ đội và trang phục giống Thần Indra, còn hai con sư tử trong tư thế ngồi với hai chân trước giơ lên, miệng há rộng, nhe răng, nét chạm khá đơn giản. Hai mặt còn lại của đài thờ, bên hông trái và phải cũng thể hiện hai Gandhava và hai con sư tử cùng một kiểu thức với mặt chính diện. Ngoài ra trên phần đài thờ còn chạm trổ các đoá hoa sen cách điệu thành những đường kỷ hà và trang trí các diềm hoa văn hình con sâu thường thấy ở thời kỳ nghệ thuật Phật giáo Đồng Dương, nét chạm có độ sâu cạn vừa phải đã tôn bố cục các hình tượng chính như Thần Indra, Gandhava và sư tử một cách khá uyển chuyển và sinh động. Với loại hình đồ đội Kirita Mukuta có chạm những đoá hoa thường là 4 đến 5 cánh trên các đồ trang sức của thần Indra, Gandhava hay kiểu ngồi của thần Indra (một chân co, một chân xếp bằng), cho thấy phần đài thờ này đã ảnh hưởng sâu sắc phong cách nghệ thuật Java – Indonesia và có niên đại vào thời kỳ cuối của phong cách nghệ thật Đồng Dương  khoảng nửa đầu thế kỷ thứ X[2].

Ngoài ra, chùa Linh Ứng còn bảo lưu được 02 pho tượng quý, bằng gỗ: Tượng Bồ tát Địa tạng và tượng Bồ tát Quan Âm, mang phong cách tiêu biểu cho mỹ thuật và chế tác tượng đầu vương triều Nguyễn (thế kỷ XIX).