De Hermitage Amsterdam heeft een lange geschiedenis. Het gebouw waarin de Hermitage gevestigd is, werd niet altijd gebruikt als een museum. In 1638 op 22 februari werd namelijk het ‘Oude Vrouwen Huis’ op die plek geopend. Dit was een tehuis waar bijna drie eeuwen lang Amsterdammers in rust hun laatste dagen konden spenderen. De oude bewoners van het tehuis waren ook de reden voor de bijnaam die het gebouw kreeg,  het ‘Besjeshuis’. Het was afgeleid van grootmoeder waar in die tijd ook wel ‘bestmoeder’ voor gebruikt werd. Amstelhof was ook een naam die gebruikt werd om het gebouw te beschrijven, wat afgeleid is van haar ligging aan de Amstel. 

In de jaren ’90 voldeed het gebouw echter niet meer aan de eisen van de Gezondheidszorg. Er moest dus een nieuwe bestemming gevonden worden voor het gebouw. De voorzitter van de diaconie, Gerard Krijn nam daarom contact op met Ernst Veen, toenmalig directeur van De Nieuwe Kerk. In samenwerking met de State Hermitage in Sint Petersburg werd in 2009 de deuren van de Hermitage Amsterdam voor het publiek geopend. Dit was echter niet de eerste keer dat er plannen gemaakt werden om een museum te creëren op de plek van het gebouw Amstelhof.

De eerste keer dat dit gebeurde was in de 19e eeuw, in 1809 om precies te zijn. De Koning Lodewijk Napoleon had grootse culturele plannen voor ons kleine landje. Hij had al de Nederlandse nationale kunstcollectie van Den Haag naar Amsterdam verplaatst, maar hij moest een plek hebben om deze werken tentoon te stellen. Zijn oog viel op het stuk grond waar Amstelhof stond. De locatie was perfect, maar het gebouw zelf paste niet helemaal in het plaatje van de koning. Hij wilde dit gebouw dan ook slopen en vervangen door een groter en indrukwekkender gebouw. Het ontwerp voor dit nieuwe gebouw werd gemaakt door de stadsarchitect Abraham van der Hart. 

Deze plannen werden echter nooit voltooid, want de plannen waren te duur en Lodewijk Napoleon werd afgezet door zijn broer Napoleon. Napoleon had soldaten nodig voor zijn oorlogen. Musea stonden niet hoog op zijn prioriteitenlijstje. Dit betekende wel dat ons prachtige gebouw gewoon bleef voortbestaan. Napoleon Bonaparte probeerde het gebouw echter nog wel voor andere doeleinden te gebruiken. In 1811 wilde men in de Kerkzaal een bal geven voor de keizer, maar de Diaconie stond dit niet toe. Brandgevaar en de drukte voor oudere bewoners werden als reden voor de afkeuring gegeven aan de Fransen. Het is misschien wel leuk om te noemen dat voor koning Willem I dit gevaar door de vingers gezien kon worden en het bal wel mocht doorgaan.  Het gebruik als militair hospitaal werd ook door de Diaconie afgekeurd. Het bleef een tehuis voor oude mensen. 

Lodewijk Napoleon, Napoleon Bonaparte en Willem I waren niet de enige historische figuren die interesse hadden in het gebouw Amstelhof. In 1946 bezocht een zeer bekend Britse staatsman Amstelhof, namelijk Winston Churchill. Hij maakte op 11 mei een rondvaart door de Amsterdamse grachten en over de Amstel. Hij kreeg een lunch aangeboden in de Kerkzaal van het ‘Besjeshuis’. De kade voor het gebouw was gevuld met een jubelende menigte om Winston Churchill te ontvangen.