อาคารไปรษณีย์หลังเก่านี้ แต่เดิมเป็นเรือนพักอาศัยของพระอนุรักษ์โยธา (นุด) ข้าหลวงรักษาราชการหัวเมืองฝ่ายตะวันตกของภูเก็ต ต่อมาอาคารดังกล่าวถูกนำมาใช้ในส่วนราชการ โดยจัดสรรตัวบ้านให้กลายเป็นสำนักงานไปรษณีย์โทรเลข และพื้นที่ในบริเวณกำแพงเดียวกันให้กลายเป็นกลุ่มอาคารทางราชการ เมื่อปี พ.ศ.2524 สำนักงานจังหวัดภูเก็ตได้ทำหนังสือถึงสำนักงานไปรษณีย์เขต 8 แจ้งความประสงค์ขอรื้อถอนอาคารเพื่อสร้างอาคารที่ทำการหลังใหม่ แต่กรมศิลปากรไม่อนุญาตให้รื้อถอน เนื่องจากอาคารหลังนี้เป็นอาคารที่มีสถาปัตยกรรมเก่าแก่ควรค่าแก่การอนุรักษ์ไว้ จึงทำให้อาคารแห่งนี้ถูกปรับปรุงให้กลายเป็นพิพิธภัณฑ์ไปรษณียากรภูเก็ต ในปี พ.ศ.2537 ดังที่พบเห็นในปัจจุบัน
นิทรรรศการประวัติความเป็นมาของตราไปรษณียากรไทยตั้งแต่ยุคแรกเริ่มต้นในปี พ.ศ.2494 จนถึงปัจจุบัน
พิพิธภัณฑ์ตราไปรษณียากรภูเก็ต