มีผู้เล่าต่อ ๆ กันมาว่า วัดเทียนถวายนี้ สร้างมาตั้งแต่สมัยหระเจ้าอู่ทอง ราย พ.ศ. 1180 เดิมชื่อ “ วัดเกวียนไสว ” เพราะพระเจ้าอู่ทองได้อพยพผู้คนและสัมภาระหลายร้อยเล่มเกวียนเสด็จหนีโรคห่า (โรคอหิวาต์) มาพักแรม ณ สถานแห่งนี้ และโปรดให้สร้างวัดไว้ก่อนเสด็จกลับ อีกเรื่องหนึ่ง สุนทรภู่กวีเอกของไทย (พ.ศ. 2350 )ได้ร่วมขบวนโดยเสด็จพระองค์เจ้าปฐมวงศ์ ไปนมัสการพระพุทธบาทสระบุรี มาถึงวัดเทียนถวาย พรรณนาไว้ในนิราศพระบาท