สถานที่แห่งนี้เป็นศาสนสถานมาเป็นเวลายาวนาน สืบความไปถึงสมัยสมเด็จพระนารายณ์มหาราช ทรงเสด็จจากวังนารายณ์เมืองละโว้(ลพบุรี) ไปว่าราชการที่กรุงศรีอยุธยา ทรงผ่านประทับแรม ณ ถ้ำนารายณ์ … และสมเด็จพระเจ้าทรงธรรม ซึ่งทรงเสด็จมานมัสการรอยพระพุทธบาท ก็ได้เสด็จประทับพักแรมในถ้านารายณ์ ซึ่งมีอากาศเย็นสบายตลอดปี และจากจารึกอักษรผนังปากถ้ำก็ปรากฏหลักฐานว่า ถ้ำนี้ได้เคยเป็น ที่บำเพ็ญกุศลมาตั้งแต่สมัยอนุราธปุระ เมื่อกว่า 1,200 ปีมาแล้ว ผ่านความรุ่งเรืองและเสื่อมโทรมและฟื้นฟูขึ้นเป็นวัดตามประเพณีการปกครองแผ่นดินและ การสืบพระพุทธศาสนา