Idolsberg war etwas Besonderes. Ortholphus de Idolsperge und Bruno de Zidolfsperg, der 1168 genannt wird, sind die ersten namentlich bekannten Adeligen. Im Unterschied zum Schicksal anderer Kamptalburgen wurde aus der wehrhaften Burg ein kleines Schloss. Dieses wird 1664 als sehr schön beschrieben: "...ist das Schloß Idolsberg in ein Viereck erbauth, dessen Hof mit großen Steinen gepflastert und zu Ebner Erdt durch und durch gewelbt, darinnen seindt schene Zimmer...".
Besonders beliebt ist in Idolsberg der 1989 angelegte romantische kleine Dorfteich, der Erholung und Spaß für Fischer, Eisläufer, Eisstockschiesser und natürlich für Badelustige bietet.