Die Gründungsmitglieder der „Kulturfabrik“ kommen aus der alternativen DDR-Jugendkulturarbeit. Auf der Suche nach Erweiterungsmöglichkeiten gründete sich 1994 der Verein mit dem Ziel, ein „Soziokulturelles Zentrum“ für Hoyerswerda zu errichten. 1996 begann die Arbeit im historischen Gesellschaftshaus am markt. Nach einer 16jährigen Bauphase und einem kulturellen Überleben in der „Zwischenbelegung“ wird diese Arbeit seit 2015 im sanierten und neugebauten Bürgerzentrum am Markt fortgeführt.