Nejstarší zmínka o č.p. 179 pochází z roku 1459, kdy majitel pozemku, staroměstský soused Tomek ze Železnice, prodavač ryb, prodal tuto parcelu Janu varhaníkovi. Ten zde v následujících letech postavil dům, uváděný roku 1466 jako „varhaníkův dům na rohu“.

• Roku 1586 Kuningunda, pozůstalá vdova po krejčím Osvaldu Pollnštajnerovi, odkázala dům dcerám.
• Roku 1622 koupil Silvestr Morner dům, řečený „U bílého slona“, v ulici jdoucím k stupňům hradu pražského, po pravé ruce ležící, za 1900 kop míšenských. 
• V roce 1653 je dům uváděn jako pustý, možná v důsledku rabování Švédů, kteří prý vtrhli do hospody, provozované v dnešním sklepení, a naloupené věci pak na rynku prodávali. Hostinská útěkem do vinic čest svou a nejspíš i holý život zachránila.
• K roku 1659 se nachází zmínka o spojení dvou domů v jeden.
• V roce 1665 koupil dům „U bílého slona „ obuvník Vilém Morner za 700 zlatých. O několik let později dům opět prodal  za 740 zlatých jistému sklenáři Jakubu Regnardtovi.
• V letech 1725 byl dům prodán za 800 zlatých. Novým vlastníkem se stal Johan Michal Bohm – krejčí, který zaměstnával 2 dělníky a ročně vydělával 280 zlatých. Budova byla v té době dobře postavena, kamenná a dvoupatrová.
• Roku 1747 byl dům oceněn na 2400 zlatých a prodán v dražbě Janu Westerholtovi, královskému komerčnímu radovi. Dále se majitelé střídali.
• Až v roce 1814 zaplatil plukovník Petr Pavel Latscher za dům 14500 zlatých a nechal roku 1823 tesařským mistrem Philippem Wraným postavit nový krov a nahradit šindele taškami. Poprvé byl dům uváděn jako třípatrový.
• Langwelův model Prahy z let 1826-37 zachytil dům již v dnešní podobě. Gotická klenba v přízemí a sklepech se dochovala dodneška.
• Po požáru 1541 proběhla oprava a přístavba již v renesančním duchu – viz křížová klenba s hřebínky v koupelně ve 2. nadzemním podlaží. K barokní přístavbě došlo ve II. čtvrti 18. století. Zachoval se barokní portál s římsou nad přízemím a dveře s tepanou mříží v nadsvětlíku.
• Ze známých osobností zde snad krátký čas v roce 1837 pobýval jako tříletý Jan Neruda, což historici zpochybňují. S určitostí se však ví, že zde bydlel houslový virtuos František Ondříček.
• V období totalitního režimu byl dům zestátněn a v rámci OPBH pronajímán k bytovým účelům. Vzhledem k tomu, že dům nebyl průběžně udržován, zchátral. Původní majitelé byli vystěhováni do náhradních bytů v panelových sídlištích. Stát dům v roce 1976 celkově zrekonstruoval a vyňal z bytového fondu pro účely Ministerstva zahraničních věcí. Po revoluci v roce 1989 byl dům v roce 1991 restituován a vrácen původním majitelům.
• V období let 1991 – 4 sloužil jako sídlo KBSE (Komise pro bezpečnost a spolupráci Evropy). Po přesunutí činnosti této organizace z České republiky byl dále pronajímán.
• V rámci pronájmu v roce 1996 proběhla poslední zásadní rekonstrukce, která dala domu dnešní podobu a umožnila rozdělit dům na bytové a nebytové prostory.