หลังจากพระเจ้าบรมวงศ์เธอ กรมหลวงสรรพศาสตร์ศุภกิจ สิ้นพระชนม์ ในพุทธศักราช 2462 ทายาทไม่ประสงค์จะรักษาสภาพวังไว้ต่อไป จึงขายให้แก่เอกชน สิ่งก่อสร้างต่างๆในวังจึงถูกรื้อถอนออกหมดเหลือเพียงแต่ซุ้มประตูวังด้านทิศตะวันออก ริมถนนตะนาวและมีถนนแพร่งสรรพศาสตร์ตัดจากประตูนี้ตรงไปออกถนนอัษฎางค์