เดิมวังนี้เป็นวังที่พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ทรงสร้างพระราชทานแก่พระเจ้าบรมวงศ์เธอ พระองค์เจ้าอาภากรเกียรติวงศ์ กรมหลวงชุมพรเขตอุดมศักดิ์ ต้นราชสกุล อาภากร ซึ่งเป็นพระราชโอรสลำดับที่ 28 ในเจ้าจอมมารดาโหมด วังนี้สร้างขึ้นเพื่อใช้เป็นที่ประทับของ กรมหลวงชุมพรฯ ภายหลังจากเสด็จกลับจากการศึกษาวิชาทหารเรือจาก สหราชอาณาจักรนาน 7 ปี และหลังจากเสด็จนิวัติสยามประเทศแล้ว พระองค์ก็ทรงเข้ารับราชการที่กระทรวงทหารเรือ

วังที่ประทับของกรมหลวงชุมพรนั้น รัชกาลที่ 5 ทรงพระกรุณาโปรดฯ ให้สร้างในที่ดินที่แต่เดิมเป็นพื้นที่ของชาวมอญ ซึ่งตั้งเป็นชุมชนใหญ่อยู่ริมคลองผดุงกรุงเกษมฝั่งทิศใต้ ชาวมอญหรือชาวรามัญกลุ่มนี้ส่วนใหญ่ มีอาชีพขายตุ่ม ที่เรียกกันตามศัพท์พื้นเมืองว่า ตุ่มอีเลิ้ง ต่อมามีการเรียกตุ่มนี้ให้ฟังไพเราะขึ้นว่า ตุ่มนางเลิ้ง และด้วยเหตุที่วังนี้ตั้งอยู่ในหมู่บ้านค้าตุ่มนางเลิ้ง วังสำหรับเจ้าฟ้านายทหารเรือพระองค์นี้ จึงได้ชื่อว่า วังนางเลิ้ง ไปโดยปริยาย