Für die Jahre ab 1867 sind in den Akten der Sparkassenaufsichtsbehörde Genehmigungen für die gemeinnützige Verwendung von Gewinnen der Sparkasse des Schweinitzer Kreises zu finden. Geld wurde zum Beispiel für den Straßenbau ausgegeben. 1869 standen sogar 20.000 Taler zum Bau einer Kreischaussee von Kolochau über Lebusa bis zur Kreisgrenze bei Dahme bereit.
1870 erfolgte die Erlaubnis, dass 7.000 Taler in die Errichtung eines Gebäudes für die Kreissparkasse in Herzberg investiert werden konnten. Die Herstellung einer feuersicheren Geschäftsstelle mit einer Wohnung für den Rendanten schien nach einem Stadtbrand im Jahr 1868 angebracht. Ein massiver Bau bot mehr Schutz für die Sparkasse als ein Fachwerkhaus.
Die Verwendung des Geldes für den Neubau, unter anderem für Maurermeister Michaelis, hatte der Landrat Gustav von Kleist der Aufsichtsbehörde ordentlich nachzuweisen. Entstanden ist an der Ecke Schliebener Straße/ Grünstraße (heute Ludwig-Jahn-Straße) das erste Kreishaus, in das zunächst 1871 die Sparkasse einzog. Wenige Jahre später erfolgte nach einigen An- und Umbauten, die ebenfalls durch Sparkassenüberschüsse mitfinanziert wurden, der Einzug des Landratsamtes.