W roku 1760 ukończono budowę pałacu przy Długich Ogrodach, na zlecenie Jerzego Augusta Mniszcha, zaufanego króla Augusta III.
W 1796 r. stał się własnością króla Prus i ten przeznaczył budynek na siedzibę lokalnego gubernatora, a następnie dowódcy gdańskiego garnizonu i taką funkcję pełnił do roku 1905 kiedy został rozebrany ze względu na zły stan techniczny oraz wybudowanie Komendatury generalnej u zbiegu ulic Silberhütte (Hucisko) i Elisabethwall (dziś Wały Jagiellońskie).