องค์พระปรางสีดา ได้สร้างขึ้นในราวศตวรรษที่ 14 สมัยขอมเรืองอำนาจในยุคพระเจ้าชัยวรมันที่ 3 มีตำนานปรัมปราเล่าว่า ในสมัยครั้งกระโน้นมี เจ้าพ่อวินาสสันโท เป็นเจ้าปกครองเมือง พระแม่สีดารัต และพระแม่สุภาวดี เป็นพระมเหสี … เดิม เจ้าพ่อวินาสสันโท ยังไม่ได้เป็นเจ้าเมือง แต่เป็นเพียงหนุ่มกำพร้าพ่อ มีอาชีพต่อไก่ป่าเพื่อนำมาขาย หาเงินซื้อข้าวมาเลี้ยงดูมารดา วันหนึ่งได้ไปเจอไก่ป่าสีขาวสวยงามและมีกลิ่นหอมอบอวล จึงได้นำไก่ของตนไปต่อไก่ตัวนั้น ขณะที่กำลังจะจับไก่ตัวงามนั้น กลับจับพลาดถูกเพียงหางของไก่จึงได้แต่ขนหางติดมือมา เขานำขนหางไก่มาเหน็บไว้ที่ข้างฝาบ้าน กลิ่นของขนหางไก่หอมฟุ้งไปทั่วเมือง เลื่องลือไปถึงหูของเจ้าเมืองทำให้เจ้าเมืองอยากได้ไก่ตัวนั้น เจ้าเมืองประกาศหาคนใดที่ต่อไก่ได้จะให้รางวัลมหาศาล มีแต่หนุ่มกำพร้าคนนี้เท่านั้นที่อาสาทำภารกิจจับไก่ให้เจ้าเมือง โดยขอคำสัญญาว่าขณะที่ไปทำธุระต่อไก่ให้ เจ้าเมืองจะต้องดูแลแม่แทนหนุ่มกำพร้าเป็นอย่างดี หนุ่มกำพร้าออกเดินทางไปต่อไก่ โดยหารู้ไม่ว่าไก่ตัวนั้นไม่ใช่ไก่ธรรมดา แต่เป็นธิดาพญานาคแปลงมา ไก่จำแลงได้วิ่งหนีลงรูขนาดใหญ่ (ปัจจุบันเรียก บ่อไก่แก้ว) ทำให้หนุ่มกำพร้าต้องตามลงรูไปนานถึง 3 เดือน ธิดาพญานาค (ไก่จำแลง) กับหนุ่มกำพร้า ได้หลงรักมีใจให้กัน เพราะต่างเป็นคู่บารมีเก่าตามกันมา พ่อปู่พญานาคเองก็เห็นดีเห็นงามด้วยได้ยกลูกสาวให้ ทั้งสองครองคู่กันอยู่ในเมืองบาดาล แต่หนุ่มกำพร้าคิดเป็นห่วงมารดา จึงตัดสินใจพาภริยากลับมาอยู่กับมารดาด้วยกัน แต่ขณะจะขึ้นมานั้นธิดาพญานาคได้ลืมหวี จึงให้หนุ่มกำพร้าไปหยิบให้ ก่อนจะเดินไปได้บอกนางเป็นมั่นเป็นเหมาะว่า ห้ามไม่ให้นางไปนั่งบนสายยนต์ที่หนุ่มกำพร้านั่งลงมาในเมืองบาดาลเป็นอันขาด เพราะหากสายยนต์สั่นสะเทือนคนของเจ้าเมืองที่เฝ้าสายยนต์อยู่ข้างบนจะดึงสายยนต์ขึ้นไปทันที แต่นางไม่ฟังคำ จึงเผลอไปนั่งทำให้คนของเจ้าเมืองดึงขึ้นไปก่อนที่หนุ่มกำพร้าจะกลับมาทัน
เมื่อสายยนต์ถูกดึงขึ้นไปแล้ว หนุ่มกำพร้าต้องไปหาทางขึ้นจากรูใหม่ไกลถึงหนองหาญอุดร การเดินทางตามนางเป็นไปอย่างล่าช้า เจ้าเมืองเองเมื่อได้เห็นนางธิดาพญานาคก็รู้สึกหลงรัก อยากได้เป็นมเหสีเพิ่ม จึงจับเข้าวังหวังเอาเป็นเมียแต่ก็ไม่สมหวังเพราะเข้าใกล้ตัวนางไม่ได้ เมื่อท้าวกำพร้าตามมาทันก็ได้ตามเข้าวังเจ้าเมือง ได้ขอตัวธิดาพญานาคคืนมา เจ้าเมืองรู้สึกเกรงกลัวเพราะรู้ว่าหนุ่มกำพร้าได้เรียนวิชาอาคมกับปู่พญานาคมา และมีลิ้นดำสาปแช่งเช่นไรจะเป็นไปเช่นนั้น หนุ่มกำพร้าโกรธแค้นเจ้าเมืองมากเพราะไม่รักษาสัญญาที่จะเลี้ยงดูมารดาของเขาแต่กลับปล่อยให้มารดาอดอยากตาย จึงสาปเจ้าเมืองและชาวเมืองนั้นให้มีแต่ความยากจนข้นแค้นตลอดกาล จนกว่าจะมีผู้มาสร้างพระใหญ่สูงเท่าต้นตาลจึงจะพ้นคำสาป ต่อมาหนุ่มกำพร้าได้อยู่ครองคู่กับธิดาพญานาค และขึ้นเป็นเจ้าเมือง ชื่อ เจ้าพ่อวินาสสันโท ธิดาพญานาคชื่อพระแม่สีดารัต แต่ปรางค์สีดานี้ เป็นเชิงตะกอนเก่าที่เผาร่างลูกชายของพระแม่สีดารัต ซึ่งได้ออกบวชเป็นพระธุดงค์ในบั้นปลายของการปกครองเมือง ลูกหลานได้สร้างพระปรางค์ครอบไว้เป็นการบูชาจนกระทั่งถึงปัจจุบัน
อาคารที่ใช้หินศิลาแลงและอิฐเป็นโครงสร้าง
WatPhraPrangSida