วัดศรีสวาย ตั้งอยู่ทางตอนใต้ของวัดมหาธาตุห่างออกไปประมาณ 350 เมตร โบราณสถานที่สำคัญตั้งอยู่ในกำแพงแก้วประกอบด้วยปรางค์ 3 องค์ รูปแบบศิลปะลพบุรี ลักษณะของปรางค์ค่อนข้างเพรียวตั้งอยู่บนฐานเตี้ย ๆ ลวดลายปูนปั้นบางส่วนเหมือนลายบนเครื่องถ้วยจีนสมัยราชวงศ์หยวน