เดิมถ้ำเขาน้อย เป็นพื้นที่ของหมู่ 2 ตำบลเขาชะงุ้ม อำเภอโพธาราม จังหวัดราชบุรี เป็นป่าที่อุดมสมบูรณ์ ยังไม่มีบ้านเรือนของราษฎร ต่อมาปี 2504 ทางราชการได้เปิดให้ประชาชนเข้าจับจองที่ทำกิน โดยจัดสรรเป็นแปลง ๆ ละ 24 ไร่ ให้จับจองคนละไม่เกิน 2 แปลง คือ 48 ไร่ ทำให้มีราษฎรเข้ามาจับจองกันอย่างมาก ตอนที่ราษฎรเข้ามาจับจองนี้ ทำให้ไม้ใหญ่ถูกตัดฟันจนหมด ต่อมาปี 2534 ได้มีการสำรวจพื้นที่บริเวณเทือกเขาผึ้ง เขาหลวง พบว่ามีสภาพป่าเป็นป่าเต็งรัง ที่ยังคงอุดมสมบูรณ์ อยู่ใกล้ชุมชน ประกอบกับมีจุดเด่นทางธรรมชาติ ได้แก่ ถ้ำ สวนหินตามธรรมชาติ และทิวทัศน์ที่สวยงาม เหมาะจะพัฒนาให้เป็นแหล่งท่องเที่ยว จึงได้เสนอขอจัดตั้งเป็นวนอุทยาน และได้รับอนุมัติให้จัดตั้งเป็นวนอุทยานถ้ำเขาน้อย เมื่อวันที่ 15 พฤศจิกายน 2534