Ganz anders hat begonnen, was sich heute als Spezialmuseum Deutscher Malerei dem Besucher präsentiert: „Vaterländische Alterthümer“ wollte man zusammentragen, eine Art Kunstgewerbemuseum errichten, als man 1886 den Verein für Orts- und Heimatkunde in der Grafschaft Mark mit Sitz zu Witten an der Ruhr gründete und zugleich das Museum ins Leben rief. Es waren überwiegend die Honoratioren der Stadt, die zusammentrugen, was man für sammelwert hielt. Und natürlich (schließlich bestand eine private Trägerschaft) nahm man alles, was als museal betrachtet werden konnte. Dabei spielte schon bald die ehemalige Grafschaft Mark, der das Museum seinen Namen verdankt, und deren Territorium inhaltlich abgedeckt werden sollte, keine Rolle mehr. Südseekunst und ferne Fauna und Flora gelangten ebenso in das Museum wie die durch eine Explosion verbogene Straßenbahnschiene oder der Gallenstein eines Pferdes. Die alten Zugangsbücher sind voll von solchen Kuriositäten. Aber man war gleichzeitig in erstaunlichem Maße weitsichtig. So fing man damals schon an, die Tageszeitungen des Stadtgebietes und der angrenzenden Gemeinden zu sammeln.
Auch Firmenfestschriften und -prospekte füllten die Bibliothek, die heute zu den großen Westfalica-Spezialsammlungen zu zählen ist.
Wie andernorts auch waren in Witten ehrenamtliche Leiter für den Sammlungsaufbau und deren Betreuung zuständig. Erst weit nach dem Zweiten Weltkrieg gab es für den Direktor eine hauptamtliche Planstelle.
Die Gründung des Museums ist auch vor dem Hintergrund des gestärkten nationalen Selbstbewußtseins nach der Einigung des Deutschen Reiches zu sehen. Die Wirren der Zeit mit den beiden Weltkriegen haben längst nicht alles Gesammelte bewahren lassen. Einiges führt heute das Heimatmuseum, anderes wurde zerstört, beschlagnahmt, eingeschmolzen oder gestohlen. Aber immer noch sind Sammlungen von überregionaler Bedeutung und auch kunsthistorische Solitäre vorhanden.
Seit vielen Jahrzehnten steht der Name „Märkisches Museum“ für „Moderne Deutsche Kunst“. Dies hat Witten Peter Emil Noelle zu verdanken, der zwar Ende 1937 von den Nazis als Museumsdirektor verjagt worden war, aber zwischen 1946 und 1953 - erneut im Amt - die Weichen für die Zukunft stellte. Diese bemerkenswerte Persönlichkeit, hauptberuflich Direktor des Ruhr-Gymnasiums, brachte die „große Kunst“ in die Stadt. Er war ein unermüdlicher Anreger, der Expressionistenausstellungen in Klassenzimmern gleichermaßen initiierte wie im Wartesaal des Hauptbahnhofs. Er verkaufte selbst in der Nazizeit Kunstwerke „entarteter“ Künstler wie Heckel, Nolde und Jawlensky oder vermittelte Künstler in Betriebe, wo sie vor Ort arbeiten konnten. Noelle hat nach dem Krieg nicht nur das völlig zerstörte und in städtische Trägerschaft übergegangene Märkische Museum wieder aufgebaut, sondern auch schon in den Ruinen eine regelmäßige Ausstellungstätigkeit begonnen.
Viele erst später namhafte Künstler hatten unter ihm und seinem Nachfolger Dr. Wilhelm Nettmann (Museumsdirektor 1953 bis 1978) ihre erste Museumsausstellung in Witten. Unter Dr. Nettmann wurde das Museum wie eine Kunsthalle betrieben. Eine Fülle von Wechselausstellungen und Publikationen tragen seine Handschrift. Das  Museum konnte endlich mit festem Etat und hauptamtlichen Mitarbeitern geführt werden. Er schließlich veranlaßte die Stadt, eine benachbarte Villa aus dem Jahre 1839 als Heimatmuseum zu erwerben. So fanden die kulturgeschichtlichen Sammlungen aus den Anfängen des Museums eine Heimstatt.
In den Folgejahren wurde auch das Haupthaus für den Museumsbetrieb zu eng; auch stellten sich Spätschäden der Kriegszerstörung ein, die 1985 eine Schließung des 1909 bis 1912 errichteten Hauses erforderlich machten. Unter Dr. Wolfgang Zemter (seit 1974, Museumsdirektor seit 1978) wurde das Märkische Museum renoviert, durch einen großen Anbau erweitert und im Oktober 1988 wieder eröffnet.

Das Märkische Museum führt im Jahr durchschnittlich 6 bis 8 Wechselausstellungen durch zum aktuellen Kunstgeschehen, dazu kulturgeschichtliche Ausstellungen und Retrospektiven über das Werk namhafter Künstler sowie Expositionen aus Eigenbesitz.