Am höchsten Punkt der alten Stadt gelegen, thront das Schloß als weltliche Keimzelle der Stadt. Die ehemalige mittelalterliche Burg aus dem Beginn des 12. Jahrhunderts wurde 1572 vom Geschlecht der späteren Fürsten Paar erworben und im Renaissancestil in ein Schloß umgebaut. Der Rittersaal dehnte sich über die ganze Schloßlänge aus.
Im 17. Jahrhundert wurde der Bau um einen im rechten Winkel ergänzten Arkadentrakt erweitert. Baracke Wappenmalereien im Obergeschoß wurden erst in jüngster Zeit freigelegt. Heute werden die historischen Räumlichkeiten als Aus- und Fortbildungszentrum sowie als kulturelle Begegnungsstätte genutzt.