ประวัติเดิม ขึ้นทะเบียนเป็นวัดเมื่อ พ.ศ. 2449 โดยมีกำนันขุนพรหมแก้ว ทองคำ และ ผู้ใหญ่สอน จันทร์แก้ว เป็นผู้ถวายที่ดิน พระธรรมรามคณี สุปรีชาสังฆปาโมกข์ (หนู อชิโต) วัดโตนด เจ้าคณะจังหวัดหลังสวน (ธรรมยุต) เป็นผู้รับมอบจำนวน 20 ไร่ และไปสอบถามโยมลุงพรหม (ซึ่งปัจจุบันได้เสียชีวิตไปแล้วเมื่ออายุ 97 ปี) ซึ่งเป็นเจ้าของร้านขายยา อยู่ที่ตลาดสวี ตำบลนาโพธิ์ อำเภอสวี จังหวัดชุมพร พอได้เค้าว่าเมื่อประมาณ พ.ศ.2443 นั้นมีเจ้าอาวาส (ผู้ดูแล) 1 องค์ ชื่อ พ่อหลวงพันธ์ พุ่มคง เป็นเจ้าอาวาสอยู่ แต่ไม่ทราบว่าเป็นเจ้าอาวาสอยู่กี่ปี ก็มีพ่อหลวงแดง ฉายา ชิตมาโร เป็นเจ้าอาวาส 4 – 5 ปี ต่อจากพ่อหลวงแดงมีพระมาจากไหนไม่ทราบ มาอยู่วัดถ้ำนี้มีชื่อมาตั้งแต่เดิม วัดถ้ำขวัญเมือง ไม่ได้ตั้งชื่อตามตระกูล ของตระกูลขวัญเมืองที่มีอยู่ ใกล้ๆวัดตระกูลนี้คงตั้งขึ้นภายหลังโดยเอาชื่อวัดมาตั้งเป็นชื่อสกุล