เดิมสันนิษฐานว่าเป็นวัดเก่าแก่ที่สร้างขึ้นในสมัยขอมเข้ามาครอบครองแผ่นดินแห่งนี้แต่ไม่มีหลักฐานว่าสร้างมาตั้งแต่ พ.ศ.ใด ต่อมาเป็นวัดร้างไม่มีพระภิกษุสามเณรจำพรรษา จนกระทั่งเมื่อ พ.ศ. 2501 พระอาจารย์หลวงปู่ขาวอนาลโย พระวิปัสสนากรรมฐานสายพระอาจารย์มั่น ภูริทัตตะเถระได้อาศัยวัดแห่งนี้เป็นสถานที่วิปัสสนากรรมฐานโดยใช้พื้นที่ที่เกิดจากหมู่ก้อนหินขนาดใหญ่ 3-4 ก้อน ที่มีหลืบและชะโงกหินก่อเป็นหลังคาคอนกรีตเชื่อมถึงกัน ทำให้พื้นที่บริเวณนั้นกลายเป็นห้องโถงขนาดใหญ่ สามารถจุคนได้หลายร้อยคนเพื่อใช้เป็นที่บำเพ็ญสมณธรรมอยู่ที่นั่นจนกระทั่งมรณภาพเมื่อปี พ.ศ. 2526