เดิมสถานที่ตั้งวัดนี้มีฝูงช้างป่าอาศัยพักและลงเล่นน้ำ และมักจะมีพระฝ่ายอรัญวาสีมาแวะพักปักกลดอยู่เป็นประจำ ชาวบ้านจึงช่วยกันสร้างที่พักถวายพระ ช้างจึงหลีกทางให้ที่แต่โดยดี จึงเรียกวัดนี้ว่า…วัดช้างให้ สร้างขึ้นในสมัยสุโขทัย ราว พ.ศ.1845
ในสมัยอยุธยา หลังเปลี่ยนแผ่นดินสมเด็จพระนเรศวรมหาราช พระราชมนูทหารคู่พระทัยได้ลาออกจากสมุหกลาโหม และไปบวชจำพรรษาจนสิ้นอายุขัยอยู่ที่วัดช้างให้นี้ ระหว่างนั้นได้สร้างวิหารถวายเป็นพระราชกุศลแด่ สมเด็จพระนเรศวรมหาราช
เมื่อพระราชมนูสิ้น ศิษย์และชาวบ้านจึงสร้างเจดีย์บรรจุอัฐิรูปทรงกลม (ระฆังคว่ำ) เอาไว้
สมัยอยุธยาตอนปลาย พระสงฆ์ ๓ พ่อลูกทรงฌานอภิญญาปกครองวัดสืบมา (หลวงปู่รอด หลวงพ่อพ่วง หลวงพ่อเพ็ง) และว่างเว้นพระสงฆ์ในช่วงเสียกรุงศรีอยุธยา พ.ศ. ๒๓๑๐ ต่อเมื่อถึงสมัยกรุงรัตนโกสินทร์ มีพระพ่วง พระเปรื่อง และว่างเว้นพระสงฆ์ครองวัดไปอีกครั้ง
พ.ศ. ๒๔๗๒ นายแรม-นางใย ขำพักตร์ ร่วมกับผู้มีจิตศรัทธาช่วยกันบูรณะวัดขึ้นมาใหม่ ในขณะนั้นมีช้างตาบอดอาศัยอยู่ที่วัด และพื้นเพบ้านนี้เคยเป็นสถานที่ที่เจ้าหน้าที่กรมช้างนำช้างกลับมาเลี้ยงยังบ้านเกิดและบริเวณพื้นที่วัด ชาวบ้านจึงเรียกวัดนี้ว่า “วัดช้าง”จนถึงปัจจุบันนี้
วิหาร พระราชมนูสร้างถวายเป็นพระราชกุศลแด่ สมเด็จพระนเรศวรมหาราช (สมัยอยุธยา)
อุโบสถ มหาอุด อายุ ๗๐๘ ปี สมัยสุโขทัย
พระประธานในอุโบสถมหาอุด (หลวงพ่อทองคำ)
เสมา ใบสีมา หินทรายแดง ลงรักปิดทองสมัยอยุธยาตอนกลาง
เจดีย์บรรจุอัฏฐิของพระราชมนู เจ้าพระยาอัครมหาเสนาบดีที่สมุหกลาโหม
สำนักปฎิบัติธรรมประจำจังหวัดอ่างทอง