Im Laufe der Jahre waren eine Anzahl Musiker wegen Weggang von der Grube oder aus anderen Gründen aus der Kapelle ausgetreten. Diese Männer taten sich 1902 mit Peter Schlosser zusammen und gründeten den „Herdorfer Musikverein“. Einige Jahre früher hatte Peter Schlosser schon den Männergesangverein „Cäcilia“ gegründet. Zwischen Bollnbacher Bergkapelle und Männergesangverein einerseits und dem Musikverein und Gesangverein „Cäcilia“ andererseits entwickelte sich eine lebhafte Rivalität. Laufend kam es vor, dass Musiker und Sänger von einem Verein in den anderen übersiedelten. Gegenseitig trieben sich die Vereine zu immer besseren Leistungen an. Im Jahre 1911 feierten der Kriegerverein mit der Bollnbacher Bergkapelle und der Schützenverein mit dem Musikverein am selben Sonntag an zwei verschiedenen Stellen ihr Schützenfest. Vor dem heutigen evangelischen Gemeindehaus begegneten sich die beiden Festzüge. Keiner wollte dem anderen Platz machen. So kam es, dass die beiden Musikkapellen ineinander gerieten und die beiden dicken Trommeln aufeinander prallten. Einigen besonnenen Männern gelang es jedoch, die Ordnung wieder herzustellen und eine drohende Schlägerei zu verhüten.

Soweit die Ausführungen von Peter Schlosser, welcher am 30. Januar 1939 gestorben ist. Zweifellos hat sich Peter Schlosser im Herdorfer Musik und Sangesleben große Verdienste erworben. Fast ein Menschenalter lang hat er unzählige Jungen und Mädchen aus Herdorf und den umliegenden Orten die Grundbegriffe Zither, Violine, Gitarre und Mandolinenspiel beigebracht.

Obersteiger Schweisfurth hatte 1899 sein Amt niedergelegt und sein Nachfolger, Grubenverwalter Keller, wurde Vorsitzender der Bollnbacher Bergkapelle. Bis 1932, als die Grube Bollnbach schon 6 Jahre stillgelegt war, ist Verwalter Wilhelm Keller Vorsitzender gewesen. Ihm ist die Kapelle, der er immer ein guter Freund und Förderer war, zu großem Dank verpflichtet.

Am 16. November 1913 feierte die Kapelle im festlich geschmückten Knappensaal ihr 25jähriges Bestehen. Grubenverwalter Keller hielt die Festrede und konnte unter den zahlreichen Gäste viele Beamte der Kruppschen Bergverwaltung in Betzdorf und Vertreter fast sämtlicher Gruben des Siegerlandes begrüßen. Dank der Beihilfe des Bergwerkdirektors Brockhoff konnte die Kapelle bei dieser Feier in einer neuen schmucken Uniform auftreten. Der Verein bestand damals aus 3 Ehrenmitgliedern, 28 Musikern und 11 Beamten der Grube Bollnbach. In den 25 Jahren waren für Instrumente, Noten und Unformen 8000 Mark ausgegeben worden.

Im Krieg 1914 - 1918 sind zwei Angehörige der Kapelle für das Vaterland gestorben. Es waren die aktiv dienenden Josef Schenk und Aloys Schmidt. Die übrigen wehrpflichtigen Musiker waren fast alle durch die Grube Bollnbach vom Wehrdienst reklamiert und somit freigestellt worden.

Kurz nach dem Krieg musste Kapellmeister Aloys Stinner wegen eines Unfalls längere Zeit aussetzen. Die Leitung der Kapelle übernahm für diese Zeit der ehemalige Militärmusiker Josef Quast, genannt „Flöte-Quast“. In der Zeit seines Wirkens als Kapellmeister hat Josef Quast, welcher ein begeisterter Freund klassischer Musik war, hauptsächlich Kompositionen von Richard Wagner eingeübt und bei mehreren Konzerten mit großem Erfolg zum Vortrag gebracht.