สร้างขึ้นเมื่อประมาณ จ.ศ.1183 (พ.ศ.2364) มีหลักฐานพอที่จะสันนิษฐานได้ว่า สร้างก่อนเจดีย์บนขาพลอยแหวน ซึ่งเจดีย์สร้างเมื่อ จ.ศ.1198 (พ.ศ.2379) มีแผ่นศิลาจารึกระบุว่า พระยาธิบดีศรีรณรงฤาชัย (พระยาจันทบุรี) ได้บรรจุพระบรมธาตุไว้เพื่อให้ประชาชนได้สักการะบูชา ที่ชาวบ้านเรียกกันว่า วัดเขาพลอยแหวน เหตุเพราะว่า วัดนี้ตั้งอยู่บนเนินเขาที่กำเนิดพลอยชนิดต่างๆ เช่น พลอยเขียวมรกต, พลอยเขียวไพลิน, พลอยเขียวส่ง, พลอยบุษราคัม และพลอยสตาร์ สำหรับความเป็นมาของวัดพลอยแหวนนี้ สร้างสมัยหลวงพ่อหมี ท่านได้มาธุดงค์พัก และพบสถานที่แห่งนี้เงียบสงบดี เหมาะสำหรับบำเพ็บกรรมฐาน ต่อมาได้สร้างเป็นวัดขึ้นเมื่อ พ.ศ.2364 ในระยะต่อมาได้ใช้สถานที่วัดนี้เป็นที่ตั้งอำเภอบ้านพลอยแหวน เมื่อประมาณ พ.ศ.2517 โดยมีเจ้าอาวาสและผูู้รักษาการแทนเจ้าอาวาสปกครองกันมาจนถึงปัจจุบันนี้รวม 19 รูปด้วยกัน