ภายในประกอบไปด้วยถ้ำน้อยใหญ่ที่ล้วนแล้ว แต่มีความเป็นมาที่น่าสนใจแทบทั้งนั้น โดยถ้ำแต่ละแห่งนั้นจะเปรียบเสมือนวิหาร และหอพระแต่ละห้อง ในอดีต วัดเขาบันไดอิฐเคยใช้เป็นสถานที่นั่ง วิปัสสนากรรม ฐานที่มีชื่อเสียงมาก
-เป็นถ้ำที่มีชื่อว่าถ้ำประทุน
-มีฝูงลิงเป็นจำนวนมาก
-หน้าบันไดพระอุโบสถ์เป็นลายปั้น
-ประทุนเรือ