Chùa Tượng Sơn tọa lạc giữa một khu đất bằng phẳng bốn phía có núi sông, khe suối, làng mạc, ruộng đồng bao bọc ở làng Yên Hạ, xã Sơn Giang, huyện Hương Sơn, tỉnh Hà Tĩnh. Trước mặt Chùa là dòng sông Ngàn Phố, sau lưng là ngọn núi Voi đứng sừng sững, có khe suối chảy quanh năm tạo âm thanh rộn rã nơi của thiền tĩnh mịch. Chính vì vậy mà chùa có tên gọi là Tượng Sơn tự hay còn gọi là chùa Ầm Ầm. Chùa do thân mẫu của đại danh y Hải Thượng Lãn ông Lê Hữu Trác sáng lập hồi thế kỷ 18.

Chùa Tượng Sơn có: Chùa Thượng chính điện thờ Phật Thích Ca, bên tả thờ ông bà Tham đốc quân công (ông bà ngoại của danh y Lê Hữu Trác) và bà Bùi Thị Thưởng (thân mẫu của danh y); bên hữu thờ tổ tiên họ Lê Hữu. Nhà Tổ: thờ tượng Tổ Đạt Ma, lịch đại Tổ sư, có pho tượng lớn Bồ Tát Chuẩn đề 18 tay. Về phía góc trái vườn chùa có 07 am mộ của các nhà sư trụ trì viên tịch tại đây. Chùa Hạ là một lầu chuông 8 mái được chạm trổ tinh xảo theo hoa văn kiểu tứ linh, tầng trên để gác chuông, tầng dưới làm nơi lễ bái.

Trải qua thời gian Chùa Tượng Sơn đã trở thành ngôi chùa cổ, một di tích lịch sử gắn liền với Đại danh y Lê Hữu Trác, một di tích văn hoá nghệ thuật độc đáo.

Hàng năm tại chùa Tượng Sơn ngoài những ngày lễ của nhà Phật như lễ Phật Đản, Vu Lan còn có những ngày lễ hội như Lễ Thượng nguyên và lễ cầu yên, lại có lễ Quan Âm ngày 19 tháng 2 âm lịch là ngày lễ vía đức Bồ Tát quan thế âm.