เคยเป็นถ้ำที่ใช้เป็นกระทรวงการคลังในสมัยจอมพล ป. เมื่อครั้งที่มีแผนย้ายเมืองหลวงมายังเพชรบูรณ์ ในปัจจุบันสิ่งก่อสร้างที่เป็นอาคารไม่ปรากฏ นอกจากถ้ำซึ่งมองเห็นเป็นร่องรอยการก่อสร้างมั่นคงในสมัยนั้นลักษณะของถ้ำเป็นถ้ำเขาหินปูน บริเวณทางเข้ามีบันไดพญานาคขนาบทั้งสองข้าง นอกถ้ำมีซากป้อมปืนใหญ่ตั้งอยู่ในดงไม้ เพื่อป้องกันทรัพย์สมบัติที่ย้ายมาจากกระทรวงการคลัง ภายในถ้ำมีไฟฟ้า สว่างพอที่จะเห็นร่องรอยที่เก็บช่อนสมบัติ และมีรูปปั้นฤาษีและพระพุทธรูปประดิษฐานอยู่ จึงเรียกว่าถ้ำฤาษี