Dnešní vzhled hradu, od doby Karlovy několikrát přestavovaného, je výsledkem nepříliš šťastné restaurace, kterou provedli architekti Schmidt a Mocker v letech 1888 až 1897. Úpravy postihly zejména vnějšek hradu. Zbořeny a nově postaveny byly první dvě brány, byla vybourána podstatná část purkrabství, velký palác byl o patro snížen, věže dostaly prkenná podsebití, která nikdy nenesly, a podobně. Naštěstí zůstaly těchto zásahů až na výjimky ušetřeny nádherné vnitřní prostory. I přes tyto necitlivé puristické zásahy, vedené snahou navrátit památce její středověký ráz, můžeme velmi dobře rekonstruovat podobu Karlovy stavby.
       Karlštejn byl založen na výběžku výšiny, později nazvané Kněží hora. Ta spolu s okolními kopci Haknovcem, Plešivcem a Javorkou značně převyšuje staveniště hradu. Výběžek s hradem byl od prudce stoupajícího svahu Kněží hory oddělen mohutným příkopem vysekaným ve skále. Nad ním se za parkánem a vlastní hradbou zdvíhala velká věž. Její zhruba šestimetrová silná čelní stěna bez jediného otvoru kryla ostatní stavby jádra. Ty byly za velkou věží podélně seřazeny na skalních terasách. Od nejnižší terasy s palácem a purkrabstvím opevnění sestupovalo po skalním hřebenu směrem 
k potoku, kde bylo zhruba padesát metrů nad jeho hladinu ukončeno podkovovitou studniční věží.