Tot haar dood in 1894 woonde in dit zeventiende-eeuwse huis Wilhelmina Insinger-Borski, dochter van de befaamde, schatrijke weduwe Borski en weduwe van de bankier (en slaveneigenaar) Albrecht Frederik Insinger. Het pand werd in 1895 geveild en gekocht door de Haarlemse notaris P.C. André de la Porte, die er na een verbouwing ging wonen en er ook kantoor hield. Ook de achtergelegen huizen en stal aan Keizersgracht 475 t/m 479 gingen daarbij onder de hamer.
De la Porte liet onder meer de stoep verwijderen; de voordeur werd een raam. Architect van de verbouwing was Karel Muller. In 1928 werd het pand verder verbouwd, nu tot kantoor, door het architectenbureau Van Gendt. Daarbij werd achter de daklijst een verdieping toegevoegd.
Het was het Amsterdamse kantoor van de Hollandse Bank voor Zuid-Amerika, een Rotterdamse bank die vanaf 1933 Hollandsche Bank-Unie ging heten. De HBU vertrok hier in 1992.
De stoep werd in 2001 hersteld.
Herengracht 436
Er zijn 37 afbeeldingen in de beeldbank van het Stadsarchief die gerelateerd zijn aan dit adres.