สวนเสรี ตั้งอยู่บริเวณเขาน้อยใกล้แหลมสมิหลา เป็นสถานที่พักผ่อนหย่อนใจที่สวยงามอีกแห่งหนึ่ง บริเวณสวนตกแต่งด้วยไม้ดัดเป็นรูปสัตว์ต่างๆ สวนเสรีนี้มีอายุ 65 ปีแล้ว มีมาตั้งแต่ ปีพ.ศ. 2486 ประวัติเล่าต่อๆกันมาว่า สมัยสงครามโลกครั้งที่ 2 ญี่ปุ่นมาขึ้นบกที่แหลมสมิหลา และที่บริเวณสวนเสรี เป็นที่ที่ทหารญี่ปุ่นใช้เป็นที่จัดงานเลี้ยงสังสรรค์ช่วงเย็นและค่ำ เพราะอยู่ใกล้ชายหาดบรรยากาศดีมาก ที่ชื่อว่าสาวเสรี ช่วงสมัยนั้นเป็นช่วงการปฏิวัติเสรีชน เลยมีชื่อว่าสวนเสรี 2486 สวนเสรีไม่มีการพัฒนาแต่ถูกบุกรุกพื้นที่สวนไปเรื่องๆ โดยร้านอาหารลานดอกแก้ว ทั้งๆที่วัตถุประสงค์เดิมของลานดอกแก้วประชาชนทุกคนน่าจะเข้าไปนั่งเล่น นั่งพักผ่อน กลับกลายเป็นถ้าอยากนั่งต้องนั่งกินอาหารที่ร้านลานดอกแก้ว และการสร้างอาคารที่ลานดอกแก้ววัตถุประสงค์เป็นสถานที่ขายสินค้า otop ของจังหวัด กลับกลายเป็นร้านอาหารเป็นหลัก ขยายพื้นที่ไปเรื่อยๆ มีการสร้างอาคารห้องอาหารเพิ่มขึ้น ทำลายสภาพแวดล้อมของสวนเสรีสวนมีพื้นที่เล็กลงเรื่อยๆ มิหนำซ้ำยังนำถังน้ำ ( สีแดงใหญ่ๆ )ต่อเป็นถังน้ำสำหรับร้านอาหาร