เชื่อกันว่ากรมหลวงชุมพรเขตรอุดมศักดิ์เคยเสด็จมาประทับ ณ ที่แห่งนี้ เพื่อพักทอดสมอเรือรบ จึงสร้างสมอเรือจำลองไว้ที่พระตำหนักซึ่งหันหน้าออกทะเล บริเวณรอบๆ มีสวนไม้ดอกไม้ประดับ และสำนักสงฆ์ นอกจากนี้บนเขาธงชัยยังเป็นที่ประดิษฐานของ พระมหาธาตุเจดีย์ภักดีประกาศ หรือ พระมหาเจดีย์เก้ายอด พระปรางค์จัตุรมุขสูงสามชั้น ชาวบ้านกรูดร่วมใจสร้างเพื่อเฉลิมพระเกียรติในวโรกาสที่พระบาทสมเด็จพระเจ้าอยู่หัวทรงครองศิริราชสมบัติครบ 50 ปี