Es waren die beiden Kinder des Landrats, Marie und Hermann Sommer, die am Eröffnungstag die ersten sogenannten Einlagebücher ausgestellt bekamen. Die Tochter hatte 12 und der Sohn 8 Taler auf dem Sparkassenbuch. Außerdem gab es am 1. August 1837 noch zwei neue Kundinnen.
Bald kamen immer mehr Menschen mit ihren Ersparnissen vorbei. Oft zahlten sie den erlaubten Höchstbetrag von 30 Talern ein. Die Satzung schrieb vor, dass nur kleinere Geldsummen angelegt werden durften.
Die Kreissparkasse ermöglichte das Vorsorgesparen für Notzeiten, das Alter und Krankheit. Aber auch für bestimmte Lebensziele konnte Geld angespart werden, wie zum Beispiel die Hochzeit oder die Eröffnung eines Gewerbebetriebes. Das Geld auf dem Herzberger Einlagebuch war dafür sicher und gut verzinst angelegt.
Sparbücher gehörten lange Zeit zu den einzigen Produkten, die Sparkassen ihren Kunden zur Geldanlage anboten. Sie waren regional unterschiedlich gestaltet und trugen verschiedene Bezeichnungen. Eines der ältesten Exemplare im Archiv der Sparkasse Elbe-Elster ist ein 1896 von der Kreissparkasse Liebenwerda ausgestelltes Quittungsbuch.