ป้อมไพรีพินาศเป็นป้อมปืนสร้างขึ้นตามพระราชดำหริของ พระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัว โดยพระยาอภัยพิพิธ (กระต่าย) เจ้าเมืองจันทบุรี สร้างเมื่อ พ.ศ. 2377 เตรียมรับศึกญวนที่มาทางทะเล ต่อมาใน พ.ศ. 2400 พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว เสด็จประภาสมลฑลจันทบุรี ได้พระราชทานนามป้อมนี้ว่า ป้อมไพรีพินาศ อยู่คู่กับป้อมพิฆาฏฆ่าศึก (ป้อมพิฆาฏปัจจามิตร) ปัจจุบันถูกตึกแดงทับไว้ เป็นตึกดินลำดับอิฐฉาบปูนขาว อยู่บนฝั่งเขาแหลมสิงห์ กว้าง 3 เมตร ยาว 5 เมตร หนา 60 ซม. หลังคาสังกะสี มีชั้นเดียวเป็นที่พักพลประจำป้อม มีคลังกระสุนดินดำ สร้างแยกอยู่ต่างหาก ฝาคลังกระสุนดินดำ หนา 30 ซม. สูง 2 เมตร ด้านในฉาบปูนขาว ด้านนอกถมดินนูนเป็นหลังเต่ามีประตูหันไปทางตะวันตก ทางตะวันออกของป้อมหันหน้าออกแม่น้ำและทะเล สร้างกำแพงอิฐ สูง 2 เมตร หนา 90 ซม. ยาว 50 เมตร มีช่องปืนใหญ่ 6 ช่อง บนเชิงเทินทำด้วยอิฐ ขุดดินทรายถมสูง 2 เมตร เป็นคันต่อจากกำแพงอิฐบนเขาลงมาหาอ่าว มีปืนใหญ่ 6 กระบอก เท่ากับจำนวนช่องปืนใหญ่ หล่อโดย บริษัท SIR W.B. ARMSTRONG สวีเดน กระบอกใหญ่ที่สุดมีปากกระบอกปืนกว้าง 11 นิ้ว 1 กระบอก น้ำหนัก 5,380 ปอนด์ (2,402 กิโลกรัม) กระบอกรองลงมา ปากกระบอกปืนกว้าง 10 นิ้ว 1 กระบอก น้ำหนัก 4,214 ปอนด์ (1,881 กิโลกรัม) อีก 4 กระบอก ปากกระบอกปืนกว้าง 6 นิ้ว มีปืนแก๊ป ปืนคาบศิลา ปืนขานกยาง