เกิดจากสภาพภูมิประเทศซึ่งเป็นดิน และหินทรายถูกกัดเซาะตามธรรมชาติเป็นรูปร่างลักษณะต่างๆ เช่น ดอกเห็ด หน้าผา ดูแล้วแปลกตา ชื่อ แพะเมืองผี น่าจะมาจากภาษาพื้นเมืองแพะ แปลว่า ป่าละเมาะ ส่วนคำว่า เมืองผี แปลว่า เงียบเหงา วังเวงอาจเกิดจากสภาพภูมิประเทศที่ดูเร้นลับน่ากลัว