Neobyčejně půvabný hrad založili na skalním útesu mezi lety 1329-1332 páni z Huzové, biskupští manové, a od uvedených dat suverénní páni ze Sovince. V husitských válkách bojovali na obou stranách, ale vlastníci hradu, husitští hejtmané, zůstali oddaně na straně kalicha. Byli trvalou hrozbou mocné katolické Olomouci a našli bychom je v řadě významných bitev. Zdá se, že na Sovinci roku 1428 jednal Prokop Holý s pretendentem českého trůnu polským princem Zikmundem Korybutovičem. Páni ze Sovince zachovali věrnost Jiřímu z Poděbrad a jeho nástupci Vladislavu Jagellonskému, a tak v srpnu 1474 panství zpustošil jejich rival a usurpátor koruny Matyáš Korvín. Poslední dědici rodu vymřeli po meči roku 1543. Panství se ujal Kryštof z Boskovic a rozšířil hrad v pohodlné renesanční sídlo. Nástupce Vavřinec Eder ze Štiavnice v díle pokračoval, ale modernizoval i fortifikaci. Jan Kobylka z Kobylí, ochránce pečeti Matyáše Habsburského, účastník českého stavovského povstání a poslední český majitel, prodal panství roku 1623 řádu německých rytířů, který ohroženou pevnost zesílil moderními bastiony a předsunutou pevnůstkou Lichtenštejnkou. Roku 1626 hrad přesto dobyli Dánové a roku 1643 hrad nedokázal vzdorovat dlouhému švédskému obléhání a posádka se vzdala. Po letech chátrání rytíři hrad v 19. století výrazně zrestaurovali pro kněžský seminář a později proslulou lesnickou školu. V roce 1938 zlikvidovali rytířský řád nacisté a řada bratří se ocitla v koncentračních táborech. V květnu 1945 za dodnes nejasných okolností zničil hrad Sovinec požár založený buď ustupujícími jednotkami Wehrmachtu, nebo spíše sovětskými oddíly. Významnější restaurace probíhá od 90. let. Bude trvat léta, než se hradu vrátí původní tvář. Brány kouzelné dominanty lesnatého údolí se otevírají návštěvníkům od dubna do září každého roku.

Původní pozdně gotickou tvrz postavil v letech 1520-30 zástavní pán Petr ze Žerotína. Královské panství zakoupil roku 1583 do dědičného držení vzdělaný štýrský šlechtic Ferdinand Hoffmann z Grünbüchlu, president dvorské komory, dvořan, osobní přítel Rudolfa II. a bratranec posledních Rožmberků Viléma a Petra Voka. Počínaje rokem 1586 začaly stavební práce a tvrz se změnila na příjemný renesanční zámek. Když Ferdinand opustil pražský císařský dvůr pro luteránskou víru, staly se mu Janovice azylem. Vynikající finančník a znalec dolování vybudoval na panství hutě podle štýrské předlohy, a dal tak impulz k modernizaci celého železářství v našich zemích. 1656-8 přibyla k zámku kaple v podobě rondelu a roku 1663, krátce před smrtí Volfganga Bedřicha, přestavěl zámek stavitel Alessandro Canneval v raně barokním duchu. Po období dietrichštejském přešlo panství 1721 sňatkem ovdovělé Marie Arnoštky z Gallasu do vlastnictví jilemnických hrabat Harrachů a zámek se stal vedlejším sídlem českého rodu. Ferdinand Bonaventura provedl 1763-5 zásadní přestavbu zámku s pomocí významného stavitele Gottfrieda Weissera v pozdně barokním slohu. Jeho dílem je jižní a část východního křídla ve tvaru rozevřeného L. Vznikla tak hodnotná, výstavná a nesmírně prostorná stavba. 1764 začaly bít zámecké hodiny a 1766 se skončila přístavba pivovaru. Dnešní tvář získal zámek v letech 1827-50. V 19. a ve 20. století proběhly vnitřní úpravy a poslední vnější úpravy pochází z roku 1901. Zámek se stal trvalým sídlem janovické linie Harrachů za Karla Alfréda v druhé půli 19. stol. Větev vymřela 1937 významným zemědělským znalcem a filantropem Františkem Arnoštem. Poslední majitelkou byla jeho dcera Anna Marie, žena maďarského diplomata Františka Zikmunda Rosty - Forgache z Barkocz. Nejtěžší chvíle nastaly po roce 1945. Majetek byl rodině pronásledované nacisty zabaven, část mobiliáře vyvezena do Maďarska, něco umístěno na zámku Liběchov a většina zničena nebo rozkradena. K jistému zlepšení došlo příchodem archivu Olomouckého kraje roku 1949 a později přibyly další fondy. Roku 2002 byl archiv deponován v Opavě a Olomouci. Zámek je prázdný a se stopami necitlivého zacházení, ale suchý a nikoli v nevratném stavu. Přes nemalé náklady není jeho revitalizace problémem.

Na sprašovém pahorku poblíž pravého břehu Podolského potoka vzniklo v době předkolonizačního osídlování dosavadní pustiny (1. půle 13. stol.) dřevěné správní přemyslovské centrum opevněné valem a mohutným příkopem. Mezi lety 1269-78, v době německé kolonizace po válečném zániku staršího osídlení, vzniklo pod ochranou pevnůstky nevelké město Rýmařov, tvořené rynkem a jedinou okružní ulicí. Ve stejném období přebudovali sídlo na zčásti kamenný městský hrad. K jeho významnému rozvoji došlo se značným rozšířením paláce a dalšími vnitřními stavbami v průběhu první půle 14. stol. Po zbudování městských hradeb se stal nejvýznamnějším strategickým místem obrany města. Ke konci 13. století se na hradě jižně od paláce získávalo zlato z okolních dolů velmi moderním tavením na speciálních destičkách. V druhé polovině 14. století bylo temeno pahorku Hrádku značně zvýšeno násypem a zřejmě pod tlakem událostí vybudovaná na stejném místě opět dřevěná pevnost hrazená polským plotem a palisádou. Od roku 1398 moravská markrabata rabštejnské panství zastavovala svým věřitelům počínaje obdobím občanských válek. První zástavník Proček z Vildberka zneužíval situace, což mu vyneslo zásah zemské hotovosti po uzavření míru. Spolu s Rabštejněm byl s celým městem dobyt a vypálen i rýmařovský Hrádek v srpnu roku 1405. Nikdy již nebyl obnoven. Po zániku hradu se v jeho prostoru zprvu usadily masné krámy a později výrobce velmi originální renesanční keramiky. V letech 1969-88 zde probíhal systematický výzkum, a dnes je proto místo chráněnou archeologickou lokalitou. Její plochu využívá městské muzeum jako součást geologické expozice jesenických hornin a nad původními základy je umístěná replika základů hradního paláce s vyhřívací pecí z konce 13. století.