วัดสามพระยาเดิมเป็นวัดราษฎร์ เรียกว่าวัดสักบ้าง วัดบางขุนพรหมบ้าง สันนิษฐานว่าสร้างมาตั้งแต่สมัยกรุงศรีอยุธยาเป็นราชธานี ได้มีการก่อสร้างและบูรณปฏิสังขรณ์เสนาสนะมาโดยลำดับ จนถึงสมัยรัชกาลที่ 3 ได้มีสามพระยาพี่น้องร่วมมารดาบิดาเดียวกันคือ พระยาราชภักดี บ้านอยู่ริมแม่น้ำใต้วัด 1 พระยาเทพอรชุน ต้นสกุลสุนทรชุน (ปู่เจ้าพระยาศรีวิชัยชนินทร ชุม สุนทราชุน) บ้านอยู่ใกล้กับพระยาราชภักดีตรงที่เป็นบ้านเก่าของเจ้าพระยายมราช (ปั้น สุขุม) ตำบลบางขุนพรหม 1 พระยาราชวรานุกูล บ้านอยู่ตำบลบ้านบาตร 1 และยังมีพระพิพิธโภคัย (ต่อมาเป็นพระยาเกษตรรักษา บุญชู) ได้ร่วมกันก่อสร้างและบูรณปฏิสังขรณ์ใหม่หมดทั้งอารามในราวปี พ.ศ. 2387