Zámek v Lužci je integrální součástí sídelního celku již od 2. poloviny 17. století. Společně s přilehlými objekty hospodářského charakteru a jižním oplocením vytváří urbanisticky i architektonicky jednotný harmonický celek. Stavbu lze zařadit do kategorie drobných venkovských šlechtických sídel, která plnila nezastupitelnou úlohu při vytváření kulturní krajiny a rovněž zásadně ovlivnila urbanistickou podobu jednotlivých sídel, v rámci nichž zaujímají dominantní postavení. Byť s jejím označením za zámek je to poněkud nejednoznačné. Resp. z pramenů archivní povahy se dozvídáme, že termínem zámek je objekt označován v roce 1750 a 1815 (starý zámek, nyní úřední dům). V roce 1670 se u stavby hovoří o rytířském sídle a již na sklonku 17. století (1691) se zmiňuje jakožto obytný dům, který byl součástí poplužního dvora. V roce 1768 se hovoří pouze o poplužním dvoře
a v 1. polovině 19. století je opakovaně zmiňován jakožto úřednický dům. Funkce stavby tedy byla dobově proměnlivá a po velkou část historie sloužil pouze pro úřednictvo spravující panství.
Objekt doposud unikal hlubšímu zájmu novodobé odborné či populárně naučné literatury. Něco málo mu bylo věnováno pouze v souborném díle Hrady, zámky a tvrze v Čechách, na Moravě a ve Slezsku a v knize Ohrožené hrady, zámky a tvrze Čech, kde však předkládané závěry jsou do jisté míry neúplné a zavádějící. Jak již bylo uvedeno výše, genezi stavby lze sledovat od
- poloviny 17. století do současnosti. Z doby výstavby se na stavbě dochovala část podstatných detailů, jakými jsou raně barokní pískovcové portály, či odhalený fragment původní exteriérové povrchové úpravy – hladká omítka s iluzivním architektonickým členěním v žluto – bílé kombinaci. Tato původní povrchová úprava je cenným dokladem, doplňujícím naše poznání o raně barokních barevnostech, u nichž víme, že ponejvíce využívaly takřka výhradně bílých, červených či šedých pigmentů.
Není neobvyklé, že postupem doby objekt prošel řadou dílčích, ale i zásadnějších stavebních úprav, souvisejících vždy s novou představou majitele o využití a „zdokonalení“. Podstatným stavebním zásahem tak bylo rozšíření stavby východním směrem před rokem 1750. Z této úpravy se mj. zachovaly trámové stropy v přízemí (u místností 1.07 – kazetový, 1.08 – pouhé torzo), ale i barokní hambalkový krov s ležatou stolicí. Zcela signifikantní se pro vnější vzhled stavby staly secesně – historizující fasády a vnější dřevěné schodiště přistavěné k jižnímu průčelí, byť tyto byly ve svém důsledku výsledkem postupných úprav (spíše mikrofází).
Výtvarné řešení, kdy do sebe byly zakomponovány prvky geometrické secese, tvarově barokizující štíty s renesancí ovlivněnými atikami s klíčovými střílnami, či na jihu gotizujícími hrotitými okénky, je bez nadsázky v českém prostředí (minimálně v širším regionu) poměrně ojedinělé. Rovněž monumentální dřevěné schodiště je ovlivněno romantickou gotikou (kupř. u vstupů na boční ramena jsou nadpraží řešena jakožto sedlové portály).
Z hlediska památkových hodnot budovy je třeba zmínit řadu dochovaných historických detailů, zejména secesních
a historizujících výplní oken a vstupů, které se však dochovaly v torzálním stavu. Veškeré tyto detaily vždy stavbu zhodnocují, jsou totiž integrální součástí jejího historického vývoje a navíc mají velkou dokumentární hodnotu (doklad o řemeslném umu našich předků a dobovém estetickém cítění). Genius loci budovy (potažmo areálu) byl natolik přitažlivý, že se zámek stal v roce 1969 významnou součástí výtvarné stránky filmu Adelheid (kvůli natáčení byl dokonce opraven – patrné u fasád). Od té doby však zámku nebyla po stavebně-technické stránce minulým režimem (resp. správcem/uživatelem) věnována pozornost a jeho architektura se proto postupem desetiletí dostala do stávajícího neutěšeného – havarijního – stavu.
S příchodem nového vlastníka, který má zájem provést obnovu stavby, vysvitla naděje, že tato bude zachována i pro budoucí generace a nenaplní se slova Jiřího Úlovce, zdali bude památce navrácen život, či zda se zámek změní v úplné zříceniny.