ในสมัยก่อน ประมาณ ปี พ.ศ. 2517 พื้นที่ตามแนวชายแดน เป็นป่าทึบและยังเป็นดินแดนสีแดงหรือเรียกว่ากลุ่มคอมมิวนิสต์เข้ามาหลบอยู่ในป่า ทำให้ชาวบ้านไม่ค่อยกล้าเข้าในป่าลึก โดยเฉพาะตามแนวชายแดน ท่านได้มาธุดงค์เข้าในในป่าบริเวณนี้ซึ่งอยู่บนเนินเขาพนมดงรัก ติดชายแดนไทย กัมพูชา ชอบความสงบตามธรรมชาติ ได้พำนักและมาปฏิบัติธรรมในถ้ำใกล้ ๆ บริเวณวัดช้างหมอบแห่งนี้ ในช่วงนั้น ได้เดินทางไปมา ระหว่างวัดคอโคและวัดแห่งนี้ มีความรู้สึกว่าเป็นสถานที่ศักดิ์สิทธิ์มาก
หลวงปู่พวน วัดช้างหมอบ