พ.ศ.2324 เมื่อเจ้าพระปทุมวรราชสุริยะวงศ์ (ท้าวคำผง) ได้อพยพมาจากดอนมดแดง มาตั้งบ้านเมืองใหม่ที่ดงอู่ผึ้ง และได้ตั้งเมืองอุบลราชธานีขึ้น และเห็นว่า ที่แห่งนี้เหมาะที่จะสร้างบ้านเมือง วัดวาอาราม เพื่อเป็นศรีสง่าแก่บ้านเมือง เป็นที่อยู่อาศัย สืบทอดพระพุทธศาสนา จึงให้พระสงฆ์ที่อพยพมาด้วย ลงมือก่อสร้าง โดยให้ช่างที่อพยพมาจากเวียงจันทน์ พร้อมด้วยท่านอุปฮาดราชบุตรราชวงศ์ ท่านท้าวเพี้ย กรรมการน้อยใหญ่ ร่วมสร้างด้วยความสามัคคี วัดจึงสำเร็จสวยงามสมเจตนารมณ์ สร้างโบสถ์ องค์พระประธาน กุฎิวิหาร ศาลาการเปรียญ หอไตร หอกลาง หอโปง หอระฆัง พร้อมบริบูรณ์ทุกอย่าง เป็นสังฆาวาสที่สวยงามมาก เมื่อสร้างเสร็จได้ตั้งนามว่า พระเจ้าใหญ่วัดหลวง นามนี้เรียกว่า “วัดหลวง” ซึ่งถือว่าเป็นวัดแรกของเมืองอุบลราชธานี และถือได้ว่าเป็นวัดประจำเจ้าเมืองอุบลราชธานีคนแรก นั้นก็คือ ท้าวคำผง นั้นเอง
พระเจ้าใหญ่องค์หลวง เป็นพระพุทธรูปปางมารวิชัย ขนาดหน้าตักกว้าง 3 เมตร โดยพระประทุมวรราชสุริยวงศ์ (เจ้าคำผง) เจ้าครอบครองเมืองอุบลราช-ธานีองค์แรก ได้ให้ช่างชาวเวียงจันทร์ สร้างเมื่อปี พ.ศ. 2324 เพื่อเป็นพระประธานประจำตัววัดหลวงประดิษฐานอยู่ในวิหารพระเจ้าใหญ่องค์หลวง (ศาลาการเปรียญ) เป็นสิ่งศักดิ์สิทธิ์ ซึ่งเป็นที่พึ่งทางใจของชาวเมืองอุบลราชธานีและเป็นพระพุทธรูปองค์แรกของเมืองอุบลราชธานี นานกว่า 223 ปีมาแล้ว
เมื่อถึงเทศกาลสงกรานต์ คณะสงฆ์พร้อมด้วยข้าราชการ พ่อค้าประชาชน อุบาสก อุบาสิกา ได้ร่วมประกอบพิธีถวายเครื่องสักการะ สรงน้ำสมโภชพระเจ้าใหญ่องค์หลวง ก่อเจดีย์ทราย อุทิศส่วนกุศลแด่บูรพาจารย์ และบรรพบุรุษซึ่งมีพระประทุมวรราชสุริยวงศ์ เป็นผู้นำสร้างวัดหลวง พร้อมกับสรงน้ำทรงสงฆ์ รดน้ำขอพรจากผู้สูงอายุเป็นประจำทุกปี เพื่อเป็นการอนุรักษ์และส่งเสริมวัฒนธรรมประเพณีอันดีงามของชาวไทยสืบไป ตลอดจนเป็นการแสดงออกถึงความกตัญญูกตเวทีต่อผู้มีพระคุณ