วัดจันทาราม มีมานับแต่สมัยอยุธยา และเนื่องจากในอดีตนั้นมีการพักซุงไว้บริเวณหน้าวัด ชาวบ้านจึงเรียกวัดแห่งนี้ว่าวัดท่าซุง ซึ่งได้เก่าแก่และทรุดโทรมตามกาลเวลา ต่อมาท่านพระราชพรหมยานหรือหลวงพ่อฤาษีลิงดำได้ปฏิสังขรณ์วัดแห่งนี้จนมีความสวยงามเป็นศูนย์รวมแห่งศรัทธาอีกครั้ง มีการสักการะสิ่งศักดิ์สิทธิ์ที่มีอยู่มากมายในอาณาบริเวณวัดรวมทั้งศพที่ไม่เน่าเปื่อยของหลวงพ่อฤาษีลิงดำในโลงแก้ว ซึ่งบรรดาศิษยานุศิษย์และประชาชนทั้งหลายยังพากันมานมัสการขอพร เพื่อความเป็นสิริมงคลอยู่จนกระทั่งทุกวันนี้ และบริเวณวัดด้านที่อยู่ติดแม่น้ำสะแกกรังนั้นยังมีจุดพักผ่อนอันได้แก่วังมัจฉาที่มีปลาหลากหลายพันธุ์นับหมื่นตัวอาศัยอยู่มากมาย