เขาปฐวีเป็นเทือกเขาขนาดเล็กยาวประมาณ 750 เมตร สูง 253 เมตร มีลักษณะเป็นเทือกเขาหินที่เรียงซ้อนกันเป็นยอด ค่อนข้างสูงชัน มีถ้ำอยู่เรียงรายโดยรอบประมาณ 30 ถ้ำ ทั้งขนาดเล็กและใหญ่ เช่น ถ้ำประทุน ถ้ำบันได ถ้ำอ่าง ถ้ำช่องลม ถ้ำพุทธประวัติ ถ้ำปลา และถ้ำค้างคาว เป็นต้น สามารถปีนไต่ตัวยอดเขาได้ บริเวณลานกว้างหน้าเขามีร่มไม้และฝูงลิงจำนวนมาก มีผู้คนนิยมมาเที่ยวชมฝูงลิงและชมถ้ำอยู่เสมอ ซึ่งที่เขาปฐวีนี้ได้ค้นพบเครื่องมือหินและโครงกระดูกมนุษย์ก่อนประวัติศาสตร์