หลักฐานทางประวัติศาสตร์ วัดเขารูปช้าง ได้สร้างขึ้นปี พ.ศ.2244 พร้อมกับวัดโพธิ์ประทับช้าง ในสมัยพระศรีสรรเพ็ชรที่ 8 หรือพระเจ้าเสือแห่งกรุงศรีอยุธยา โดยสมุหนายกผู้ควบคุมไพร่พลโยธามาสร้างวัดโพธิ์ประทับช้างตามพระราชประสงค์ได้มาพบ ภูเขาส่วนยอดมีลักษณะเหมือนรูปช้างห็นว่าเป็นสถานที่เหมาะที่จะสร้างวัด สร้างที่พักอยู่บนที่สูงเพื่อตรวจภูมิประเทศ ดูแลความปลอดภัยของไพร่พล เมื่อสร้างเสร็จแล้วให้ชื่อว่า“วัดเขารูปช้าง”ตามลักษณะหินสีขาวที่ซ้อนกันอยู่เป็นรูปช้างคุกเข่าบน ยอดเขามีลักษณะการก่อสร้าง สถาปัตยกรรม โบสถ์ วิหาร พระพุทธรูป พระปรางค์เจดีย์ เป็นแบบสมัยอยุธยาต่อมาประมาณ พ.ศ.2300 ได้มีการสร้างเจดีย์บรรจุพระธาตุไว้บนส่วนหัวของรูปช้างในสมัยรัชกาลที่ 3 แห่งกรุงรัตนโกสินทร์ ต่อมาเจ้าฟ้ามงกุฎ หรือรัชกาลที่ 4 ในสมัยยังทรงผนวชเป็นภิกษุ ได้เสด็จธุดงค์เมืองนครสวรรค์ พิจิตร พิษณุโลก สุโขทัย สวรรคโลก และอุตรดิตถ์ ทรงแวะประทับที่วัดเขารูปช้างเพื่อร่วมฉลองวิหารวัดเขารูปช้าง มื่อวันที่ 22–26 มกราคม 2376 นับได้ว่า วัดเขารูปช้างแห่งนี้ พระเจ้าแผ่นดิน เป็นผู้สร้าง และพระเจ้าแผ่นดินยังได้ทรงมาประทับร่วมฉลองวิหารอีกด้วย จึงถือว่างานประเพณี ปิดทองไหว้พระ วันเพ็ญเดือนก็นับเริ่มตั้งแต่นั้นมา นับเป็นเวลากว่าร้อยปีในระยะเวลาถัดมา วัดเขารูปช้างได้รับการพัฒนาให้มีความเจริญขึ้นมาตาม ลำดับเท่าที่ทราบเริ่มจากในสมัยของพระเดชพระคุณพระครูพิพัฒน์ธร รมคุณ หรือหลวงพ่อเตียง สมัยพระครูวิเวกธรรมมาภิรมย์ หรือหลวงพ่อเทิ้ม และสืบต่อมาจนถึงปัจจุบัน
มีเจดีย์แบบลังกาตั้งอยู่บนยอดเขาที่มีหินสีขาวซ้อนกันมองดูคล้ายช้างนั่นเอง จึงเป็นที่มาของชื่อวัดว่าวัดเขารูปช้าง เดินขึ้นไปบันไดนาคที่สูง 136 ชั้น สู่ลานกว้างบนยอดเขา คุณจะมองเห็นวิวเมืองพิจิตร และตัวเมืองตะพานหินได้ชัดเจน โดยเฉพาะยามเย็นที่มีแสงสีทองทาบทอลงมาเติมเสน่ห์เมืองพิจิตร สำหรับเจดีย์เก่าแห่งนี้ ประดับกระเบื้องเคลือบสีทองทั้งองค์ มีรั้วรอบองค์เจดีย์ และทางวัดยังได้สร้างวิหารใหญ่ขึ้นอีกหลัง โดยมีเจดีย์เก่าแบบลังกา ทรงเหลี่ยมย่อมุมไม้สิบสองซึ่งสันนิษฐานว่าสร้างในสมัยอยุธยา นอกจากนี้ยังมีมณฑปแบบจตุรมุขหลังเก่า อยู่ไม่ไกลกัน ภายในประดิษฐานรอยพระพุทธบาทสำริดและภาพจิตรกรรมฝาผนังเรื่องไตรภูมิพระร่วง