Adel
Uiteraard was deze plek in de stad tegenover de Oude Kerk reeds vroeg bewoond. In de 14e eeuw woonden hier Jan van IJselsteijn en zijn vrouw Fije van Alkemade. Jan was een nazaat van Gijsbrecht van Amstel, Heer van IJselsteijn. Hij verkocht zijn huis in 1404 aan de zusters van Sint Aagten, via een tussenpersoon, Jan Willem Moersz, maar hij bedong daarbij dat hij en zijn vrouw er tot hun dood mochten blijven wonen. Jan overleed in 1418 en zijn tweede vrouw Lijsbeth van Cranenburch in 1448. Vanaf dat moment werd het volledig eigendom van het convent, maar het stond in feite buiten het besloten kloosterterrein.Tijdens de Reformatie werd het bezit van het klooster in 1577 onteigend door de Staten van Holland, die het vervolgens overdroegen aan de stad Delft. De voormalige zusters van het klooster, doorgaans van zeer goede familie, werden niet zomaar op straat gezet. Zij kregen toestemming tot hun dood in het voormalige klooster te blijven wonen, in het zuidelijke deel van het Prinsenhof complex, waar nu Nusantara is gevestigd.

Ook op de Kaart Figuratief loopt Oude Delft 173 helemaal door in de gebouwen aan wat nu het Agathaplein is (en toen tuin was)	Kadaster 1832: hier is Oude Delft 173 onderdeel van het Prinsenhofcomplex.	In 2004 samen met 175 een gebouw.

Prinsessen van Portugal
In 1629 verhuisde de laatste zuster, Anna van Nassau van Merwe, een ver familielid van Willem van Oranje, naar een ander pand, waar ze in 1640 op honderdjarige leeftijd overleed. Zij moest plaats maken voor de ongehuwde Prinsessen van Portugal die hier woonden tot de laatste overleed.De ‘Princessen’ waren de dochters van Emilia van Nassau, dochter van Willem van Oranje,  en de katholieke Emanuel van Portugal, zoon van een Portugese troonpretendent zonder geld. (Zie ook Oude Delft 167). 
Zij moesten voortdurend familie om steun vragen. Emanuel verhuisde uiteindelijk met twee zonen naar Brussel en Emilia met haar dochters naar Genève. Daar overleed zij in 1629. Van haar zes dochters bleef er een in Zwitserland. De andere vijf, allen ‘Prinsessen van Portugal’, te weten, Emilia Louise, Anna Louise, Juliana Catharine, Eleonore Mauritia en Sabina Delphica, kwamen vervolgens met een moeizame reis via Le Havre naar Nederland en vroegen aan de Staten Generaal “met het oog op hun huidige deplorabele situatie om het pensioen van 2500 gulden dat hun moeder tot haar dood genoot, te mogen behouden”. Dat verzoek werd in beraad gehouden. Maar ze kregen in ieder geval huisvesting aangeboden in Delft, vlakbij het Prinsenhof van hun grootvader. Eleonora Mauritia was de enige van het groepje die nog trouwde: in 1647 met George Frederik van Nassau-Siegen. Juliana Catharine stierf als laatste, in 1680.

Charitaathuis
In 1597 richtte de overheid van Delft bij resolutie een “Camer van Charitaten” op “tot nader opsicht en versorginge van de waere armen”. Deze kamer werd gevestigd in het St. Agathaklooster met een ingang aan de Oude Delft. Het gaat waarschijnlijk om de plaats waar thans de huizen Oude Delft 173 en 175 staan.
In 1614 werd de Charitaatkamer verplaatst naar een ander deel van het voormalige klooster, met een ingang aan de Schoolstraat.Wat de stad in de 17de eeuw en in het begin van de 18de eeuw heeft gedaan met het complex waarop thans de huizen Oude Delft 173 en 175 staan is onduidelijk. Wel vermeld Van Bleyswijck in zijn geschiedenis van Delft, dat deze panden de prinsessen van Portugal huisvestten en de beide predikanten van de Franse Gemeente (Waalse Kerk). Deze hebben waarschijnlijk gewoond in het perceel Oude Delft 175, dichtbij de kerk.

Deftige dames
In 1738 werd het charitaathuis als zodanig in een transactie met de Kamer van Charitate opgeheven en werden het huis en de achtergebouwen simpelweg verhuurd, onder meer aan ene juffrouw Lidia van Dam, aan E.W.Mannicks, aan de weduwe van Baerle, aan dominee Tiquet en aan Willem van Willemsdorp. In 1752 kwam hier Susanna Teding van Berkhout te wonen, de dochter van de de bekende regent Mr. Pieter Teding van Berkhout.
Na de dood van Suzanna werd het deel van het huis, dat ongeveer samenvalt met het huidige Oude Delft 173, in 1767 door de stad verkocht aan Carel van Diest. Mr. Willem Hendrik Teding van Berkhout regelde als veertigraad en havenmeester van de stad deze verkoop van het stadseigendom. Carel en zijn vrouw bewoonden het huis tot 1794. Hun kinderen, die in Rotterdam woonden, verhuurden het vervolgens.

Hoge militairen
Van 1794 tot 1809 vinden we hier vice-admiraal Meurer. Meurer werd in 1797 bij de zeeslag met de Engelse vloot bij Camperduin gevangen genomen. Twee jaar later, na de mislukte Engels-Russische inval in Noord-Holland, werd hij ‘uitgeruild’ als krijgsgevangene tegen vrije aftocht van de Engelse troepen.
De gebouwen achter, aan het Agathaplein, die eigendom van de stad waren gebleven, werden in deze tijd een militaire kazerne. Het huis voor aan de straat werd na het vertrek van de vice-admiraal tot 1818 verhuurd aan de Krijgsraad van de Schutterij.In 1818 werd het pand verkocht aan plateelbakker Jacobus van Putten, die destijds heel veel huizen in Delft bezat en zijn bedrijf had in de Drie Klokken op de Korte Geer. Op die plek is nu nog het kantongerecht gehuisvest. Wellicht heeft hij zelf ook aan de Oude Delft gewoond, maar toen hij in 1854 overleed was het huis verhuurd aan de arts Jan Soutendam, die sinds 1827 een grote armenpraktijk in Delft had. Zijn zoon zou de eerste stadsarchivaris van Delft worden.

Hendrik de Veer
Van 1848 tot 1860 een nieuwe huurder: Jacob Cornelis Verheije van Sonsbeek, 2e luitenant bij de artillerie. Hij was getrouwd met Adriana Diederika van Frankenberg en Proschlitz en had een voornaam huis nodig.Na hem komt de predikant Hendrik de Veer, die in 1864 ook de eerste directeur van de Delftse Hogere Burger School zou worden. Hij bleef dat tot 1871, en stapte toen over naar een heel andere functie: hoofdredacteur van de landelijke krant Nieuws van den Dag, die nog lang heeft bestaan maar ten slotte is opgegaan in de Telegraaf. De Veer verwierf ook bekendheid als schrijver. Vanwege zijn benoeming vertrok hij naar Amsterdam, waar het Nieuws van den Dag werd gemaakt.

Dodelijke baksteen
Aan de Oude Delft verschijnen dan een kapitein der infanterie, Philippus Constantijn Evers, een koopman, Hendrik Kleijn van Willigen, en weer een kolonel der infanterie, Clement Boudewijn van der Breggen. Hendrik Kleijn van Willigen kwam ongelukkig aan zijn einde toen hij voor zijn huis getroffen werd door een baksteen die van de Oude Kerk afwoei. Samen met zijn broer Pieter was hij de oprichter van de Boek- en Handelsdrukkerij De Delftsche Post.Al deze bewoners waren huurders van wisselende huiseigenaren die het huis vanuit de verte bestierden.

In Delftsche Couranten van 1870 tot 1900 adverteert Gräfe voor zijn fotografisch atelier en drukkerij, voor zijn stoommachines, en om mee te delen dat hij zijn schoonzuster als ‘fotografiste’ heeft ontslagen.

Fotografisch Atelier
Van 1888 tot 1898 was in dit pand het fotografisch atelier gevestigd van Frederik Christiaan Philip Gräfe, fotograaf en boek- en steendrukker. Hij had het huis gekocht. Gräfe begon aanvankelijk als geweermaker in de smidswerkplaats aan de Zuiderstraat. Via de fotografe Emma Kirchner, een zus van zijn eerste echtgenote, ging hij zich richten op de fotografie en druktechniek.
In 1871 begon hij een fotoatelier dat hij uitbouwde tot drukkerij. In 1880 wist hij de titel van hoffotograaf te verwerven met het recht om het wapen te voeren van Prins Frederik der Nederlanden. Reden: hij had de Prins bij het 200-jarige bestaan van de Artillerie-inrichtingen in Delft een foto aangeboden. In 1888 verplaatste hij zijn zaak van de Zuiderstraat 136 naar de Oude Delft 173 en mocht hij een fotografietent plaatsen in de tuin achter het huis.In 1898 vertrok Gräfe naar Amsterdam. Zijn zaak werd overgenomen door de Firma Pestman en Co, die ook vrij snel daarop naar Amsterdam vertrok, waarna Gräfe in 1900 weer terugkwam uit Amsterdam en tot aan zijn dood in 1905 opnieuw dit pand betrok. De weduwe van Gräfe verkocht het huis in 1937 aan de rijwielfabrikant Leendert Rook. Vervolgens kwam het huis in handen van de meubelmaker Hendrik Ouwerling. In 1952 werd het weer eigendom van de Gemeente Delft en samen met Oude Delft 175 ingrijpend verbouwd tot kantoorpanden.