Theo lưu truyền, chùa Từ Tâm được xây dựng dưới thời vua Lê Thánh Tông, niên hiệu Hồng Đức (1460 - 1497). Bấy giờ có một vị Hòa thượng quý danh Từ Tâm người miền Bắc vào tu và tìm đường học đạo tại Ngũ Hành Sơn, dưới chân núi Thủy Sơn. Sau một thời gian tu hành, Hòa thượng Từ Tâm đã xây dựng lên ngôi chùa này. Chùa ban đầu vốn chỉ dựng bằng phên tre mái lá để thờ Phật và làm nơi tu học.
Đến thời Tây Sơn – Chúa Nguyễn, chùa đã bị tàn phá do chiến tranh giữa hai bên.
Đến năm 1826, trong dịp trùng tu các chùa tại Ngũ Hành Sơn, vua Minh Mạng đã cho xây dựng lại chùa Từ Tâm bằng gạch ngói. Chùa giống như một cái am hoặc cốc nhỏ. Bên trong thờ Điạ Tạng, có bàn thờ tưởng nhớ các triều đại Đinh, Lý, Trần, Lê. Ngoài ra còn có bàn thờ để thờ các linh hồn lạc lõng là nạn nhân của sóng biển, chiến tranh bị người đời lãng quên. Chùa là một nhánh của Tổ đình Chúc Thánh tại Hội An, được giao cho các vị Sư Tăng tại chùa Tam Thai trông nom hương khói, chưa có người trụ trì chính thức.
Trong kháng chiến chống Pháp và chống Mỹ, ngôi chùa để trống, tuy nhiên các cơ sở vật chất thì vẫn còn nguyên vẹn, không bị hư hại nhiều. Sau khi chiến tranh kết thúc, khoảng năm 1980 chùa được Sư thầy Đại Đức Thích Thánh Hoàng vốn tu hành tại chùa Linh Ứng về trụ trì tại chùa. Sư thầy đã tiến hành trùng tu lại mái chùa, sửa sang lại tường gạch, trông nom hương khói và kinh pháp.
Năm 1994, chùa tiếp tục được Đại Đức Thích Chúc Huệ thường trú tại chùa tiến hành trùng tu lại, xây dựng thêm một số các công trình mới.
Hiện nay, ngôi cổ tự Từ Tâm về cơ bản vẫn còn nguyên vẹn với chiếc am nhỏ mái vòm có lịch sử gần 200 năm xây dựng. Bên cạnh đó, chùa đã xây dựng thêm các công trình khác như nhà Lục Giác thờ tượng Phật nghìn mắt nghìn tay, nhà Tăng…, nhằm phục vụ cho việc tu hành và phổ độ Phật pháp của các Sư Tăng tại chùa.
