Die Südharz-Eisenbahn versprach kaum Aussicht auf größere Gewinne. Die von ihr erschlossene Region war industriell wenig entwickelt und zählte nur wenige Einwohner. Den aufkeimenden Fremdenverkehr konnte man noch nicht ernsthaft als Einnahmequelle einkalkulieren. Entsprechend war man bemüht, dem Eisenbahnbetrieb zusätzliche Einnahmen auf Basis vorhandener Resourcen zu verschaffen. Aus diesem Grund legte man zunächst einen kleinen Steinbruch in unmittelbarer Nähe des Bahnhofs Tanne an.
Doch musste der Steinbruch nur kurze Zeit danach verlegt werden. Man fand ein abbaufähiges Grauwacke-Vorkommen östlich des Bahnhofs Sorge direkt oberhalb der Bahnstrecke - ideal.
Doch so ideal war auch dieser Standort nicht. Bei Sprengungen musste die unterhalb der Bahn und des Steinbruchs verlaufende Landstraße voll gesperrt werden. Zudem flogen Gesteinsbrocken bis in die Ortsmitte hinein. Dem Fremdenverkehr war der Steinbruch auch nicht zuträglich. Die Sorger Bürger gingen auf die Barrikaden und erreichten die behördliche Schließung des Steinruchs.
Die Südharz-Eisenbahn ging abermals auf Standortsuche - auf das Transportgeschäft mit Schottersteinen zum Schotterwerk nach Walkenried wollte man nicht verzichten. Man wurde dieses Mal nahe des Bahnhofs Brunnenbachsmühle fündig und eröffnete dort den nunmehr dritten Steinbruch.