วัดปลดสัตว์ เดิมมีนามว่า “วัดสะแก” เคยเป็นวัดร้าง ครั้นถึงสมัยพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว ประมาณ พ.ศ. 2400 ได้เริ่มมีการบูรณะขึ้นใหม่ มีนามใหม่ว่า “วัดดำรงค์ธรรม” ครั้น สมเด็จพระมหาสมณเจ้า กรมพระยาวชิรญาณวโรรส วัดบวรนิเวศวิหาร สมเด็จพระสังฆราชองค์ที่ 10 แห่งกรุงรัตนโกสินทร์ ได้เสด็จตรวจการคณะสงฆ์และที่พักที่วัดนี้ ทรงปรารภว่า วัดตั้งอยู่ที่บ้านแห ควรจะชื่อว่า “วัดปลดสัตว์” หมายถึงการปลดสัตว์ออกจากแหจึงได้เปลี่ยนนามวัดมาเป็น “วัดปลดสัตว์” สืบต่อมา วัดปลดสัตว์ เป็นวัดที่ได้รับพระราชทานวิสุงคามสีมาแห่งแรกของจังหวัดอ่างทองฝ่ายธรรมยุตนิกาย เมื่อวันที่ 20 กุมภาพันธ์ พ.ศ. 2427