Viele der Vorgängerinstitute der Sparkasse Elbe-Elster begannen ihre Tätigkeit nach der Gründung nicht in kommunalen Gebäuden. Stattdessen befanden sich die Geschäftsstellen in den Häusern der Rendanten, sprich Rechnungsführer. So war es auch, als die Stadtsparkasse in Finsterwalde am 1. Juni 1886 eröffnete.
Zunächst hatte die Sparkasse ihren Sitz beim Kaufmann Carl Fürl in der Berliner Straße 31, heute Nummer 19. Ab 1889 wirkte der Tuchfabrikant Tietze als Rendant. Das Sparkassenlokal war in seinem Wohnhaus untergebracht. 1904 zog die Sparkasse dann ins Vorderschloss, welches die Stadt erworben hatte.
1928 erhielt das Institut schließlich ein neu erbautes und modern ausgestattetes Gebäude in der Berliner Straße neben dem Postamt. Hier befindet sich heute der Hauptsitz der Sparkasse Elbe-Elster.