In Herzberg fand am 1. August 1837 die erste Sparkassengründung im Geschäftsgebiet der heutigen Sparkasse Elbe-Elster statt.
Die kommunale Sparkasse wurde für die Einwohner des Schweinitzer Kreises gegründet. Dieser Kreis, der in seiner Form einem Schmetterling ähnelt, lag im Regierungsbezirk Merseburg in der Provinz Sachsen und gehörte zum Königreich Preußen.
Der örtliche Landrat Christian Friedrich August Sommer wirkte als Vorsitzender des Kuratoriums der Kreissparkasse, das man auch als Verwaltungsrat bezeichnete. Die Sparkasse in der Kreisstadt war jeden Dienstag und Freitag von 08:00 bis 12:00 Uhr geöffnet. Die Verwaltung und Rechnungsführung der Sparkasse übernahm der Kaufmann Carl Gottlieb Caspar in seinem Haus in der Kirchstraße 2.