เดิมเป็นเจดีย์เก่าแก่ ชำรุดทรุดโทรม มีเถาวัลย์ปกคลุม ภายในอุโมงค์มีพระพุทธรูปเก่าแก่หลายองค์ ผู้ค้นพบได้แก่ชนเผ่าญ้อ ซึ่งหนีภัยสมครามการรบพุ่ง ระหว่างอาณาจักรล้านช้างเวียงจันทน์กับพม่าและอาณาจักรเชียงใหม่ในสมัยพระเจ้าไชยเชษฐา เมื่อ พ.ศ. 2112 ได้พร้อมกันบูรณะครั้งแรกและให้นามว่า พระธาตุประสิทธิ์ ในปี พ.ศ. 2283 เจ้าผู้ครองนครศรีโคตรบูร พระนามว่า พระเจ้าขัติวงศาราชบูรณ์หลวง ได้บูรณะเสริมยอดสูงประมาณ 30 เมตร พ.ศ. 2436 พระเจดีย์ชำรุดทรุดโทรมมาก จนยอดเจดีย์หักลงมาท่านพระประสิทธิ์ศึกษาธิการ เจ้าอาวาส ในขณะนั้นได้บูรณะซ่อมแซมพระเจดีย์ได้สวยงามยิ่งขึ้น วัดพระธาตุประสิทธิ์ เป็นประดิษฐานพระธาตุประสิทธิ์ ที่บรรจุพระอุรังคธาตุของพระพุทธเจ้า ประชาชนในท้องที่ใกล้เคียงเคารพนับถือมาก นอกจากนี้ยังเป็นที่ตั้งของศูนย์หัตถกรรมและจำหน่ายผลิตภัณฑ์อำเภอนาหว้า พิพิธภัณฑ์พื้นบ้านไทย้อ วิทยุชุมชน และศูนย์เผยแพร่พุทธศาสนาวันอาทิตย์ ศูนย์เรียนรู้และห้องสมุดชุมชน จึงนับได้ว่าวัดพระธาตุประสิทธิ์เป็นศูนย์กลางของชุมชนอย่างแท้จริง