เกาะถ้ำฤาษี เป็นเกาะเล็กๆ ตั้งอยู่ทางทิศใต้ของเกาะกุฏี มีจุดดำน้ำชมปะการังน้ำตื้นที่สวยงาม โดยตั้งอยู่ในเขต อุทยานแห่งชาติเขาแหลมหญ้า-หมู่เกาะเสม็ด จัดเป็นอุทยานแห่งชาติประเภทชายฝั่งผสมหมู่เกาะในทะเล ตั้งอยู่ริมฝั่งทะเลของอ่าวไทยฝั่งตะวันออก พื้นน้ำทะเลประมาณ 123 ตารางกิโลเมตร หรือร้อยละ 94 ของพื้นที่ทั้งหมด สภาพภูมิประเทศประกอบด้วยภูเขาหินแกรนิต บริเวณเขาเปล็ด และเขาแหลมหญ้า มีความสูงจากระดับน้ำทะเลปานกลาง 108 เมตร หาดทรายและห้วงน้ำทะเลตื้นเป็นแนวยาวบริเวณที่เรียกว่า หาดแม่รำพึง มีความยาวประมาณ 12 กิโลเมตร ภูมิประเทศของเกาะเสม็ดประกอบด้วยภูเขาและเนินเขาเตี้ยๆ เช่น เขากระโจม เขาพลอยแหวน และเขาพระเจดีย์ ด้านทิศตะวันตกของเกาะมีความลาดชันมาก ส่วนด้านทิศตะวันออกมีความลาดชันน้อย และมีหาดทรายยาวต่อเนื่องตลอดแนวด้านทิศตะวันออก ด้านทิศเหนือมีความกว้างมากที่สุดประมาณ 2,500 เมตร มีความยาวถึงท้ายเกาะประมาณ 6,500 เมตร ทางตอนกลางของเกาะจะเป็นเนินเขาไม่สูงมากนัก มีที่ราบซึ่งเป็นที่ตั้งบ้านเรือนของราษฎรอยู่ตามริมฝั่ง ซึ่งส่วนใหญ่จะอยู่ทางด้านทิศเหนือและทิศตะวันออก บริเวณปลายแหลมด้านทิศใต้มีเกาะเล็กๆ อยู่ใกล้อีก 3 เกาะ คือ เกาะจันทร์ เกาะสันฉลาม และหินขาว นอกจากนี้ยังมีเกาะในทะเลใกล้ชายฝั่งรวม 8 เกาะ ได้แก่ เกาะปลายตีน เกาะเกล็ดฉลาม เกาะมะขาม เกาะกรวย เกาะกุฎี เกาะท้ายค้างคาว เกาะทะลุ และเกาะยุ้งเกลือ
บริเวณอุทยานแห่งชาติเขาแหลมหญ้า-หมู่เกาะเสม็ด มีฝนตกโดยเฉลี่ยทั้งปีประมาณ 1,500 มิลลิเมตร ช่วงมรสุมอยู่ในระหว่างเดือนพฤษภาคมถึงเดือนกันยายน จะมีคลื่นลมแรงมาก ออกทะเลไปเที่ยวเกาะต่างๆ ไม่ได้เป็นบางครั้ง เฉลี่ยแล้วในรอบ 1 เดือน จะมีคลื่นลมแรงประมาณ 15 วัน และระหว่างเดือนธันวาคมถึงเดือนมีนาคม ในบางวันอาจจะมีลมมรสุมและฝนตกหนักออกทะเลไม่ได้เช่นกัน อุณหภูมิโดยเฉลี่ยประมาณ 29 องศาเซลเซียส อากาศร้อนที่สุดอยู่ในระหว่างเดือนมีนาคมถึงเดือนมิถุนายน และระหว่างเดือนพฤศจิกายนถึงเดือนมกราคม เป็นช่วงที่มีอากาศเย็นที่สุด
เป็นเกาะขนาดเล็กอยู่ใกล้เกาะกุฎี มีจุดดำน้ำดูปะการังที่สวยงาม
อุทยานแห่งชาติเขาแหลมหญ้า – หมู่เกาะเสม็ด