เมื่อสร้างกรุงรัตนโกสินทร์ขึ้นบนฝั่งตะวันออกของแม่น้ำเจ้าพระยา สมเด็จพระพุทธยอดฟ้าจุฬาโลกมหาราช โปรดฯให้ สร้างป้อมขึ้นรอบกรุงเทพมหานคร 14 ป้อมเพื่อป้องกันข้าศึก ในเวลานี้เหลือป้อมรุ่นเดียวกับป้อมเมื่อแรกสร้างกรุงแค่สองป้อม คือ ป้อมพระสุเมรุ ที่ถนนพระอาทิตย์ และป้อมมหากาฬ ที่เชิงสะพานผ่านฟ้าลีลาศ
ความจริงบนถนนพระอาทิตย์ เคยมีป้อมทั้งหมด 3 ป้อม คือป้อมพระอาทิตย์ ป้อมอิสินธร และป้อมพระสุเมรุ ป้อมอิสินธรนั้นอยู่ตรงกาลาง ระหว่างตรงกลางระหว่างป้อมพระอาทิตย์และป้อมพระสุเมรุ ปัจจุบันที่ตั้งของป้อมอิสินธร คือ บ้านมะลิวัลย์ หรือวังมะลิวัลย์ ที่ทำการองค์กรอาหารและการเกษตรแห่งสหประชาชาติ หรือ (FAO:Food and Agriculture Organization of the United Nations)
ความจริงบนถนนพระอาทิตย์ เคยมีป้อมทั้งหมด 3 ป้อม คือป้อมพระอาทิตย์ ป้อมอิสินธร และป้อมพระสุเมรุ ป้อมอิสินธรนั้นอยู่ตรงกาลาง ระหว่างตรงกลางระหว่างป้อมพระอาทิตย์และป้อมพระสุเมรุ ปัจจุบันที่ตั้งของป้อมอิสินธร คือ บ้านมะลิวัลย์ หรือวังมะลิวัลย์ ที่ทำการองค์กรอาหารและการเกษตรแห่งสหประชาชาติ หรือ (FAO:Food and Agriculture Organization of the United Nations)
มีบันทึกไว้ว่า ป้อมที่สร้างขึ้นในสมัยรัชกาลที่ 1 “... ให้เกณฑ์กำลังคน ... ขุดรากก่อกำแพงรอบพระนคร พร้อมกับสร้างป้อมไว้เป็นระยะห่างกัน 10 เส้นบ้าง ไม่ถึง 10 เส้นบ้าง ... ป้อมรอบกำแพงเมืองในสมัยรัชกาลที่ 1 มีทั้งหมด 14 ป้อม ...ป้อมพระอาทิตย์ อยู่สุดถนนพระอาทิตย์ ป้อมอิสินธร อยู่ระหว่างป้อมพระอาทิตย์และป้อมพระสุเมรุ ป้อมพระสุเมรุ ด้านใต้ปากคลองบางลำพู ...”
ต่อมาป้อมอิสินธรถูกรื้อลง ที่ดินบริเวณท่าพระอาทิตย์ที่เป็นที่ตั้งป้อมอิสินธร ได้พระราชทานให้เป็นที่ตั้งบ้านของ เจ้าพระยามหาโยธา (ทอเรียะ คชเสนี ) เจ้าพระยามหาโยธามีหลานสาวท่านหนึ่งได้เป็นเจ้าจอมมารดาในรัชกาลที่ 4 คือ เจ้าจอมมารดากลิ่น เมื่อเจ้าจอมมารดากลิ่นมีพระประสูติกาล พระองค์เจ้ากฤดาภินิหาร ด้วยความดีใจ เจ้าพระยามหาโยธาได้ถวายที่ดิน ให้เป็นที่สร้างของหลานท่าน ที่ดินที่เป็นด้านเดิมของเจ้าพระยามหาโยธา จึงถูกนำมาสร้าง วังมะลิวัลย์ ถวาย พระเจ้าบรมวงศ์เธอ กรมพระนเรศวรวรฤทธิ์ (พระองค์เจ้ากฤดาภินิหาร)
ต่อมาป้อมอิสินธรถูกรื้อลง ที่ดินบริเวณท่าพระอาทิตย์ที่เป็นที่ตั้งป้อมอิสินธร ได้พระราชทานให้เป็นที่ตั้งบ้านของ เจ้าพระยามหาโยธา (ทอเรียะ คชเสนี ) เจ้าพระยามหาโยธามีหลานสาวท่านหนึ่งได้เป็นเจ้าจอมมารดาในรัชกาลที่ 4 คือ เจ้าจอมมารดากลิ่น เมื่อเจ้าจอมมารดากลิ่นมีพระประสูติกาล พระองค์เจ้ากฤดาภินิหาร ด้วยความดีใจ เจ้าพระยามหาโยธาได้ถวายที่ดิน ให้เป็นที่สร้างของหลานท่าน ที่ดินที่เป็นด้านเดิมของเจ้าพระยามหาโยธา จึงถูกนำมาสร้าง วังมะลิวัลย์ ถวาย พระเจ้าบรมวงศ์เธอ กรมพระนเรศวรวรฤทธิ์ (พระองค์เจ้ากฤดาภินิหาร)
พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว สร้างตำหนักใหม่ถวาย กรมพระนเรศวรวรฤทธิ์ ในโอกาสพระชมมายุครบ 5 รอบ เป็นอาคารทรงยุโรป หลังคาทรงปั้นหยา 2 ชั้น ชั้นล่างมีท้องพระโรง ชั้นบนเป็นที่ประทับ ตอบที่ปรับพื้นที่สร้างพระตำหนัก ได้พบ รากที่เป็นฐานที่ตั้ง ป้อมอิสินธร เมื่อเวลาผ่านไปวังเปลี่ยนมือเป็นของสำนักงานทรัพย์สินส่วนพระมหากษัตริย์ในรัชกาลที่ 7 และเป็นของ FAO ตำหนักแห่งนี้กลายเป็นที่ทำการของ FAO อยู่ระยะหนึ่งก่อนจะเปลี่ยนเป็นห้องสมุด และเมื่อมีการบูรณะบ้านมะลิวัลย์อีกครั้ง จึงได้มีการบูรณะรักษา ฐานรากของป้อมอิสินธรไว้เพื่อให้คนรุ่นหลังได้จดจำว่า ใต้บ้านมะลิวัลย์ครั้งหนึ่งเคยมีป้อม ซึ่งถือเป็นป้อมในรัศมีวังหน้ามีหน้าที่ป้องกันพระนคร เสียแต่ว่าเมื่อสร้างขึ้นมาแล้ว ในภายหลังไม่เคยมีอริราชศัตรูเก่าบุกผ่านเข้ามาทางแม่น้ำเจ้าพระยาอีกแล้ว
