Magyarország legtöbb vidéki közgyűjteményét a vármegyék alapították. A múzeumok sok helyen a levéltárak kebelében, mintegy annak égisze alatt alakultak ki, míg a fejlődés szükségessé nem tette, hogy önálló intézményként a levéltárakból kiváljanak. Borsod vármegye 1792-től működő levéltári bizottsága is többször hangsúlyozta a nemzeti történelem tárgyi emlékeinek gyűjtését és bemutatásának fontosságát. Éppen ezért javasolták a vármegyének, hogy „a koronázási emlékérmek, s egyéb, a levéltárba kerülő pénzek és polgári ereklyék számára készíttessen a megye üvegajtós almáriumot, a megyei nemesekhez pedig intézzen felhívást, hogy a levéltár fontosságát tartván szem előtt, ajándékozzanak a levéltár számára ilyen tárgyakat.” Az 1833-ban elkészült vitrinben a koronázási emlékérmek és vármegyei, használaton kívüli relikviák mellett olyan tárgyak is helyet kaptak, mint Reviczky Gábor főispán féldrágakövekkel ékesített ezüst díszbuzogánya, templomi ezüst áldozókelyhek, tálcák, céhpecsétek. A 19. század második felében a vármegyei levéltár mellett a miskolci református főgimnázium régiségtárában is jelentős történeti anyag gyűlt össze. E gyűjteményben őrizték többek között Miskolc és a vármegye fejezőpallosait, Palóczy László és Szemere Bertalan relikviáit. A főgimnázium azonban természetesen az oktatást tekintette elsődleges feladatának, a régiségtárat az oktatás segédeszközeként kezelték.
A kiegyezést követően erős közművelődési mozgalom indult meg Miskolcon, amely 1893-ban a Borsod-Miskolczi Közművelődési Egyesület megalakulásához vezetett, rövidesen pedig Múzeum-Egyesületté bővült. 1899-ben hat múzeumi szakosztály jött létre, köztük a történeti. A gyűjtemény alapját az említett vármegyei levéltári tárgyegyüttes alkotta. A miskolci és a megyei lakosság adakozó kedvének köszönhetően a múzeum 1899-es alapítását követően gyorsan gyarapodott a történeti gyűjtemény. A szerzemények, illetve adományok közül kiemelésre méltó a vármegye által gróf Szirmay Alfrédtól vásárolt fegyvergyűjtemény és a sajóvámosi 369 darabos éremlelet. A múzeum az egykori református gimnáziumban kapott három, majd később öt termet. Területének bővülése után két nagy jelentőségű egyházi gyűjteménnyel gazdagodott a történeti anyag. Az egyik Megyaszóról érkezett 1902-ben. A református falu templomának átépítésekor feleslegessé váltak az 1735-ben festett mennyezetdeszkák és az 1703-ban készült szószék. Szendrei János, Miskolc történetírója kezdeményezésére a presbitérium a miskolci múzeumot találta legalkalmasabbnak a táblák megőrzésére. Néhány hónappal később az avasi református egyház is múzeumi felajánlásról döntött. Az egyháztanács határozatának megfelelően a református gimnázium régiségtárából a múzeumba kerültek a már említett pallosok és Palóczy-relikviák mellett a híres betyár, Angyal Bandi furulyája is.
A vásárlás és adakozás útján összegyűlt történeti tárgyak mind az első állandó kiállítás ékességei lettek, melynek elsődleges célja a gyűjtemény teljességre törekvő bemutatása volt. Az 1902. október 25-én megnyíló, öt helyiségből álló kiállítás két termében mutatták be a történeti gyűjtemény tárgyait. Az első teremben a pecsétgyűjtemény és a numizmatikai anyag mellett az okmánytár került bemutatásra. Az okmánytár anyagából a néhány Mohács előtti oklevél mellett különösen az 1848-49. évi forradalom és szabadságharc emlékanyaga és a miskolci céhtörténeti gyűjtemény volt jelentős. Az akkor a történeti gyűjtemény gerincét képező iparművészeti gyűjtemény a múzeum nagytermében került elhelyezésre. A tudatos gyűjtés hiányában azonban a 96 darabos iparművészeti anyag szinte minden olyan tárgyat is magában foglalt – a középkori kulcsoktól a legújabb kőedénytányérokig –, amelyeket nem tudtak beilleszteni más kollekciókba. A múzeum megnyitása új lendületet adott a műtárgyállomány gyarapításának. 1903-ban az iparművészeti gyűjtemény már 146, míg az okmánytár 897 darabos gyűjteménnyel büszkélkedhetett.
A második világháború kitöréséig terjedő évtizedekben adakozás útján folyamatosan tovább bővült a Történeti Gyűjtemény. Emellett azonban a múzeum képes volt több olyan kihívás kezelésére is, amelyeket egy adott időszak történelmi eseményei, változásai támasztottak vele szemben. Ilyen kihívásból fakadt az első világháború időszakának dokumentálása, a szükségpénzek, katonai jelvények, fegyverek és dokumentumok begyűjtése, az 1919-es Tanácsköztársaság kommunista relikviáinak megőrzése, illetve nem utolsósorban a veszélyeztetett egyházi műkincsek megszerzése és elhelyezése a Történeti Gyűjteményben. Az utóbbinak köszönhető a diósgyőri református egyház úrasztali edényeinek (1917), a noszvaji templom mennyezetdeszkáinak (1928), a rakacai ikonosztázionnak (1929), a csokvaományi római katolikus templom faszobrainak (1931), a rudabányai templom gótikus vasajtajának (1935) és a kistokaji úrasztali terítőknek (1935) a megszerzése. Az elnyert állami támogatásoknak köszönhetően számos jelentős hagyatékot sikerült megvásárolni. Így olyan kiemelkedő tárgyegyüttesekkel bővülhetett a Történeti Gyűjtemény, mint Lévay József (1918), Szendrey János (1927), Szemere Attila (1932), Herman Ottó (1938) és Guyon Richárd hagyatéka. Utóbbit a múzeum akkori vezetése 1930-ban átadta a Hadtörténeti Múzeumnak.
A második világháborút a történeti gyűjtemény jelentősebb veszteségek nélkül vészelte át. Kivételt csak a 10. honvéd ezred, Miskolc egykori „házi ezredének” gyűjteménye jelentett, melyet előbb Egerbe, majd innen Budapestre szállítottak át. Napjainkban már csak az ezredre vonatkozó dokumentációs anyag kutatható a Helytörténeti Adattárban.
A második világháborút követő átszervezéseknek köszönhetően a múzeum gyűjtőterületét kiterjesztették Borsod-Abaúj-Zemplén megye egész területére. Az 1950–60-as években a Történeti Gyűjtemény vonatkozásában kiemelkedő volt Megay Géza tevékenysége, aki létrehozta a miskolci vasművesség gyűjteményét, a hulladékgyűjtő helyekről pedig jelentős régi fegyveranyagot szállíttatott a múzeumba. Tudományos munkásságának középpontjában a bükki üveghuták történetének kutatása állt, ehhez kapcsolódóan jelentős tárgyi anyaggal is gyarapította a történeti gyűjteményt. A kor szellemének megfelelően 1960-ban politikai utasításra létrehozták a Legújabb Kori Történeti Munkabizottságot. E testület tagjainak a feladata volt a munkásmozgalommal és a szocialista gazdasági-társadalmi fejlődéssel összefüggő tárgyak és dokumentumok gyűjtése. Az így múzeumba kerülő anyag a Történeti Gyűjteményen belül külön egységet képezett, és képez mind a mai napig. A 20. század utolsó évtizedeiben a múzeum történészei három területen folytattak kiemelkedő gyűjtőtevékenységet. Továbbra is feladatuk volt a szocializmus időszakának történelmét bemutató tárgyak és dokumentumok feltárása és megszerzése. Emellett dokumentálták Miskolc társadalmi rétegeinek életmódját, illetve gyűjtötték az ehhez kapcsolódó tárgyakat. A gyűjtőmunka harmadik kiemelkedő iránya a gyáripar előzményeinek számító manufakturális ipar, főként az üveg- és kőedénygyártás emlékeinek gyűjtése volt. Az elmúlt években ehhez kapcsolódva különösen hangsúlyos feladattá vált a megye bányászatára vonatkozó tárgyak és dokumentumok felkutatása, begyűjtése és feldolgozása, illetve a megszerzett anyag kiállításokon történő bemutatása.
A Történeti Gyűjtemény számítógépes adatbázisában napjainkban közel 20.000 leltározott tárgyat és közel 200.000 leltározott dokumentumot tartunk nyilván.
Felépítését tekintve a Történeti Gyűjtemény két nagy gyűjteménycsoportra tagolódik:
Tárgyi Gyűjtemény (HOM TGY)
Dokumentációs Gyűjtemény (HOM HTD)