Das Kerngebäude der Fabrik wurde in den 1830er-Jahren gebaut. Im Laufe der Zeit und in Folge der unterschiedlichen Nutzungen kam es jedoch immer wieder zum Umbau der Fabrik.
Der sächsische Staat pachtete im April 1933 von der Textilia GmbH mit Sitz in Herold/Erzgebirge sowohl das Gelände als auch die dazugehörige Fabrik. Zuvor hatte eine Besichtigung stattgefunden, bei der die Anwesenden, unter ihnen auch der spätere Lagerleiter Max Hähnel, der Fabrikdirektor sowie Vertreter des Landeskriminalamtes feststellten, dass die Gebäude zur Unterbringung mehr als 2000 Häftlingen und 100 Wachmännern geeignet seien.
Da der Zustand der Spinnerei noch nicht gleich die Unterbringung der Häftlinge zuließ, weil sie bis kurz zuvor noch betrieben wurde, mussten zunächst Umbauten, wie die Demontage der Spinnereimaschinen und die Reparatur der Licht- und Funkleitung vollzogen und Einrichtungsgegenstände, wie Tische, Bänke und Bettgestelle hergestellt werden. Daher begann ein Arbeitskommando von 40 Schutzhäftlingen am 2. Mai mit dem Ausbau der Fabrik, wobei sie vorübergehend im Schloss untergebracht waren.
Am 15. Mai 1933 erfolgte der Umzug der Häftlinge in die Fabrik. Vermutlich geschah dies früher als geplant, da im Schloss die „Gauführerinnenschule“ der NS-Frauenschaft Sachsen sowie dem Bund deutscher Mädel eingeweiht werden sollte.
Bis zur Auflösung des Konzentrationslagers waren die Häftlinge seitdem in der Fabrik untergebracht. Im Erdgeschoss müssen sich Wach- und Schlafräume der SA, später SS sowie die Tischlerei und das Holzlager befunden haben.
Die Unterbringung der Häftlinge erfolgte im 1. bis 4. Stock. In den Häftlingssälen waren dreistöckige Liegestätten mit Strohsäcken und Decken aufgebaut.
Karl Otto, ein ehemaliger Häftling erinnert sich 1987 an die Unterbringung in der Fabrik:
Mitten in der Nacht war ich aufgeschreckt. […] Um mich herum das Atmen und Schnarchen vieler hundert Kameraden. Plötzlich tönte die Sirene. Scheinwerferlichter huschten über die dreistöckigen Liegestellen. Signale durchschnitten die Nacht, Kommandorufe „Antreten, antreten!“ Eine Gewehrsalve knatterte. Um mich herum wurde es lebendig. „Komm nur, [wir] werden es schon überstehen“, sagte unter mir der Einbeiner und schnallt seien Prothese an. Dann drängen sich gegen tausend Männer, alte und junge, die kalten Betonstufen des Treppenhauses hinunter auf den Fabrikhof. Es war November.
Für die über 1000 Gefangenen gab es vier Aborte und 48 Hähne als Waschgelegenheiten. In der Fabrik befanden sich zudem die Werkstätten sowie Vernehmungszimmer und drei bis vier als Bunker genutzte ehemalige Trockenzellen.
Kurt Kohlsche, ein ehemaliger Häftling beschreibt die Situation in Sachsenburg im Oktober 1935, als er selbst mit 700 Menschen eingeliefert wurde.
Es wurde abends 7 ½ Uhr ehe wir nach oben in einen großen Saal kamen, in welchem sich schon zirka 1000 Häftlinge befanden. Die Arme und der Oberkörper waren wie abgestorben, man war vollkommen erschöpft und musste nun erst versuchen, wieder zu sich selbst zu kommen. Der eine oder andere Kamerad versuchte einen aufzurütteln.
[…] In der Mitte des Saales befand sich eine Wachstube, welche mit einem hochgelegenen Podium versehen war und einen Überblick über den ganzen Saal bot. Es fehlte nicht an den modernsten Waffen. An der Tür stand wiederum ein SS-Posten. Ich fragte einen Kameraden, wo ich austreten könne. Selbiger brachte mir schnell die Verhaltensmaßregeln für das Passieren des Postens bei. So gut es ging, versuchte ich beim Türposten meine Meldung zu machen, und bat darum, austreten zu dürfen. Ich machte nicht, wie vorgeschrieben, die Kehrtwendung. Sofort wurde ich zurückgerufen und der Posten schnitt mir mit seinem Seitengewehr sämtliche Knöpfe meines Mantels ab mit der Bemerkung, diese innerhalb von 10 Minuten wieder anzunähen und ihm eine entsprechende Meldung zu machen.
[…] An diesem Tage sind ungefähr 700 neue Häftlinge eingeliefert worden. Für diese Massen waren die Unterkunftsmöglichkeiten noch nicht eingerichtet. Die erste Nacht wurde auf dem Strohsack verbracht.
Nach 1937
Nachdem das Konzentrationslager aufgelöst wurde, nutze man die Fabrik zunächst zur Herstellung von Fallschirmseiden. Während des Zweiten Weltkrieges wird das Dach der Fabrik zerstört. Nach 1945 bezog die Fabrik der VEB Zwirnerei Sachsenburg. 1990 wurde der Betrieb aufgelöst und an eine Privatperson verkauft.