เป็นหมู่บ้านชาวประมง ซึ่งก่อสร้างบนพื้นที่น้ำทะเลท่วมถึง บ้านถูกสร้างยกระดับให้พ้นการขึ้น – ลง ของน้ำทะเล ชาวปันหยีเป็นชุมชนชาวประมงดั้งเดิม ประกอบอาชีพประมงน้ำตื้น โดยการทำประมงอวนลอย โป๊ะ เลี้ยงหอยแครง เลี้ยงปลากระชัง ปัจจุบันเกาะปันหยีเป็นชุมชนที่รองรับนักท่องเที่ยวโดยได้ทำการปรับปรุงบ้านอยู่อาศัยเดิมบางส่วนเป็นร้านอาหารและจำหน่ายของที่ระลึกแก่นักท่องเที่ยว
เป็นหมู่บ้านของชาวมุสลิมที่อาศัยอยู่บนเกาะกลางน้ำ