Kolem roku 1700 postavil hrabě Ferdinand Ignác Desfours jednopatrový barokní zámek ve tvaru písmene U. Vybral si místo dostatečně vzdálené od Jizery, na rovině pod příkrým svahem. Severní část zámku zdobily arkády, které tak vytvořily malebnou kulisu zámeckého nádvoří. Roku 1846 zhoubný požár zachvátil téměř celou střechu. Rozsáhlé rekonstrukce se realizovaly po roce 1898, kde se vlastníkem zámku stalo město. V roce 1922 byl celý objekt prodán státu. Byly zazděny arkády a postupně přistavěna dvě patra. Tento necitlivý stavební zásah způsobil, že zámek nenávratně ztratil podobu šlechtického sídla. Dnes je využíván účelově.
Jeho severní část zdobily arkády, které tak vytvořily malebnou kulisu zámeckého nádvoří. Zámek se nestal sídlem šlechty, ale byla sem umístěna správa panství.
Semily, 513 01