มีตำนานเล่าว่าพระมหากษัตริย์องค์หนึ่งในสมัยปลายกรุงศรีอยุธยา (องค์ใดมิได้ระบุชัด กล่าวว่าเป็นองค์ที่โปรดเสวยเพดานปลากะโห้) ได้เสด็จประพาสมาถึงบางทรายและเสด็จขึ้นไปบนเขาพบรอยพระพุทธบาท จึงโปรดเกล้าให้สร้างพระอารามเพื่อพิทักษ์รักษาพระพุทธบาทสืบมา ต่อมาในสมัยรัชกาลที่ 5 พระยาพิชิตชลเขต ผู้กำกับราชการเมืองชลบุรีได้สร้างวัดเขาพระพุทธบาทบางทรายขึ้นเพื่อทดแทนวัดโบราณสมัยอยุธยาที่ทรุดโทรมไปแล้ว