ประวัติความเป็นมาของวัดมีเรื่องเล่ากันว่า เมืองสาครบุรี คือ เมืองชายทะเลตอนใต้ของกรุงศรีอยุธยา เมื่อเกิดสงครามในพม่าชาวไทยกลุ่มหนึ่งได้อพยพหนีมาตามริมแม่น้ำท่าจีน คนชราและผู้หญิงได้พากันไปหลบซ่อนในโบสถ์เก่า ต่อมาคนไทยได้ช่วยกันต่อสู้กับทหารพม่าจนได้รับชัยชนะ และผู้ที่อพยพมาได้ตั้งบ้านเรือนอยู่บริเวณนั้น ในกลุ่มนี้มีสองพี่น้องที่เคยอาศัยโบสถ์หลบหนีภัย ทั้งสองมีความคิดที่จะบูรณะโบสถ์ใหม่ แต่พี่สาวเห็นว่าโบสถ์ทรุดโทรมมากจึงไปสร้างวัดใหม่แทน น้องสาวต้องการทำตามสัจจาธิษฐานของตนว่าถ้ารอดตายจะบูรณะซ่อมแซมโบสถ์ จึงดำเนินการบูรณะจนเสร็จและตั้งชื่อว่า วัดพรหมจารีย์ ต่อมาชาวบ้านเรียกว่า วัดน้องสาว จนปัจจุบันเพี้ยนมาเป็น วัดนางสาว