Neskorogotický päťpodlažný dom je vstavaný do Baníckej bašty a do severného múru hradného opevnenia, ktoré tu tvorí najucelenejší zachovalý celok hradieb Mestského hradu.
Matejov dom je stredovekým „činžiakom“, postaveným v roku 1479, s úctyhodnými piatimi poschodiami. V čase jeho dokončenia to bola najvyššia profánna stavba v Uhorsku. Pôvodne bolo na priečelí umiestnené nie len vročenie dokončenia stavby, ale aj erb baníckeho Bratstva božieho Tela, ktoré stavbu domu a aj Baníckej bašty iniciovalo. Svoje meno ale získal pravdepodobne na základe dvoch erbov, ktoré sa nachádzajú na jeho priečelí. Jedným je erb kráľa Mateja Korvína, druhým je mestský erb. Nad vstupným kamenným polkruhovým portálom sa týči konzolový kamenný balkónik, ktorý svojou atmosférou nápadne pripomína čaro balkóna milencov z talianskej Verony, Rómea a Júlie.
Podľa legendy Banskú Bystricu veľmi rád navštevoval kráľ Matej Krovín. Mesto mu učarovalo svojou atmosférou a nádhernou prírodou, do ktorej je mesto zasadené. Nechal si teda vystavať dom, v ktorom počas svojich návštev Banskej Bystrice, prebýval. Legenda však nie je pravdivá a hoci dom nesie meno kráľa, Matej Korvín v ňom nikdy nebýval.
Dom sa využíval na rôzne účely. Istý čas bol napríklad skladom pušného prachu a zbraní, bol tu tiež ručný mlyn a sklad obilia a istý čas slúžil aj ako miesto na uschovávanie cenností obyvateľov mesta. Na najvyššom poschodí boli uložené kanóny. V roku 1761 ani Matejov dom neobišiel jeden z najničivejších požiarov v meste, ktorý dom veľmi poškodil.
Odvtedy viac ako sto rokov Matejov dom chátral. Od roku 1889 sa stal trvalým sídlom Mestského múzea. Expozícia múzea bola slávnostne sprístupnená verejnosti v roku 1909. Obsahovala spolu viac ako 4500 exponátov. Návštevníci si mohli prezrieť národopisnú a mineralogickú zbierku, zbierku umeleckých predmetov, kultúrno-historickú zbierku a na najvyššom poschodí sa nachádzala výstava cirkevného múzea.
Na konci 50. rokov 20. storočia sa Matejov dom pre verejnosť uzatvoril a premenil na depozitár zbierkových predmetov. Jeho dvere sa pre verejnosť otvorili opäť až po dlhom polstoročí, po rozsiahlej rekonštrukcii, presne na 100. výročie otvorenia prvej expozície Mestského múzea. Na dvoch podlažiach Matejovho domu je inštalovaná stála expozícia „História mesta Banská Bystrica“, ktorá predstavuje 2863 zbierkových predmetov zo zbierok Stredoslovenského múzea. Dve ďalšie expozície Stredoslovenského múzea sa nachádzajú v Thurzovom dome a v Tihányiovskom kaštieli.
