Dass mehrere Sparkassen in der gleichen Stadt ihren Sitz hatten, war in Preußen durchaus möglich. So bekam Herzberg am 1. Juli 1873 auch eine Stadtsparkasse. Gemäß ihrer Satzung befand sie sich im Rathaus. Bis 1886 war dort der Stadtkämmerer als Rendant allein für die Sparkasse zuständig, bevor er Unterstützung durch einen Kontrolleur erhielt.