เดิมชื่อวัดป่าแก้ว หรือวัดเจ้าพระยาไท ตั้งอยู่ฝั่งตะวันออกของแม่น้ำป่าสัก สันนิษฐานว่าพระเจ้าอู่ทองทรงสร้างขึ้นเมื่อ พ.ศ. 1900 และในปี พ.ศ. 2135 เมื่อสมเด็จพระนเรศวรมหาราชทรงทำศึกยุทธหัตถีชนะพระมหาอุปราชาแห่งพม่า ที่ตำบลหนองสาหร่ายที่เมืองสุพรรณบุรี ทรงสร้างเจดีย์ใหญ่ขึ้นที่วัดนี้เป็นอนุสรณ์แห่งชัยชนะ และขนานนามว่า พระเจดีย์ชัยมงคล ฉะนั้นนานวันเข้าวัดนี้จึงเปลี่ยนชื่อเป็น วัดใหญ่ชัยมงคล