เป็นพระอารามหลวงชั้นตรี ชนิดวรวิหาร แต่เดิมชื่อ วัดหมู เล่ากันว่าจีนอู๋เป็นผู้สร้างในที่ดินที่เคยใช้เลี้ยงหมู เมื่อสร้างเสร็จแล้วมีหมูมาเดินเพ่นพ่านเป็นจำนวนมาก ชาวบ้านจึงเรียกว่า วัดหมู แต่จะสร้างเมื่อใดไม่มีหลักฐานแน่ชัด ในสมัยรัชกาลที่ 3 เจ้าจอมน้อย (สุหรานากง) ธิดาของเจ้าพระยาพลเทพ (ฉิม) ได้สถาปนาใหม่ ต่อมารัชกาลที่ 3 ทรงบูรณะและปฏิสังขรณ์อีกครั้ง และพระราชทานนามว่า วัดอัปสรสวรรค์ เพื่อเป็นที่ระลึกแด่เจ้าจอมน้อย ซึ่งมีความสามารถในการแสดงละครเรื่องอิเหนา เป็นตัวสุหรานากงได้ดี จนได้รับฉายาว่า เจ้าจอมน้อยสุหรานากง พร้อมกับพระราชทาน พระพุทธรูปปางฉันสมอ มาประดิษฐานไว้ในวัด