Niezwykle sympatyczny zamek założyli na skalnym cyplu w latach 1329-1332 panowie z Huzové, szlachta podporządkowana biskupstwu, a od wspomnianych dat suwerenni władcy na Sovince.

W czasie wojen husyckich walczyli po obu stronach, ale właściciele grodu, hetmani husyccy, stali wiernie po stronie kielicha. Byli stałym zagrożeniem dla katolickiego Ołomuńca i można ich spotkać w opisach wielu ważnych bitew. Wydaje się, że na Sovinci w roku1428 Prokop Holý prowadził rozmowy z pretendentem do tronu czeskiego, polskim królewiczem Zygmuntem Korybutowiczem. Panowi ze Sovince zachowali wierność Jiřímu z Poděbrad i jego następcy Władysławowi Jagiellończykowi tak, że w sierpniu 1474 państwo spustoszył ich rywal i uzurpator do korony Matyáš Korvín. Ostatni członkowie rodu po mieczu wymarli około roku 1543. Państwo przejął Kryštof z Boskovic i rozbudował zamek w wygodną renesansową siedzibę. Następca Vavřinec Eder ze Štiavnice kontynuował to dzieło, modernizując również fortyfikacje. Jan Kobylka z Kobylí, strażnik pieczęci Matyáše Habsburského, uczestnik czeskiego powstania stanowego i ostatni czeski właściciel, sprzedał państwo w roku 1623 grupie niemieckich rycerzy, którzy zagrożone umocnienia uzupełnili nowoczesnymi bastionami i wysuniętym fortem - Lichtenštejnkou. Mimo to, w roku 1626 zamek zdobyli Duńczycy, a w roku 1643 nie udało mu się oprzeć długiemu szwedzkiemu oblężeniu, kiedy to załoga się poddała. Po latach waśni rycerskich zamek w XIX wieku został zrekonstruowany dla potrzeb seminarium duchownego, a później znanej szkoły leśnej. W roku 1938 naziści przerwali te tradycje, a wielu braci znalazło się w obozach koncentracyjnych. W maju 1945 w do dziś niewyjaśnionych okolicznościach zamek Sovinec został zniszczony przez pożar wywołany albo przez wycofujące się jednostki Wehrmachtu, albo raczej przez oddziały radzieckie. Intensywniejsza odbudowa postępuje od lat 90. Będzie trzeba wielu lat, zanim uda się zamkowi przywrócić pierwotny kształt. Bramy tego wyjątkowego obiektu nad leśną doliną są otwarte dla zwiedzających od kwietnia do września każdego lata.

Pierwotną późnogotycką twierdzę wybudował w latach 1520-1530 dziedzic Petr z Žerotína. Královské państwo kupił w roku 1583 na zasadzie dzierżawy wieczystej wykształcony styrski szlachcic Ferdinand Hoffmann z Grünbüchlu, marszałek dworu, dworzanin, osobisty przyjaciel Rudolfa II i bratanek ostatnich Rožmberků Viléma i Petra Voka. W roku 1586 rozpoczęto prace budowlane i twierdza została przekształcona w wygodny zamek renesansowy. Kiedy Ferdinand opuścił praski dwór cesarski po luterańskich rozruchach, Janovice stały się jego azylem. Doskonały finansista i znawca problemów górniczych wybudował w państwie hutę w pobliżu styrskiej dziedziny, co dało impuls do rozwoju i modernizacji przemysłu metali żelaznych w całym naszym regionie. W roku 1656-1658 przybyła w zamku kaplica w kształcie rondla, a w roku 1663, krótko przed śmiercią Volfganga Bedřicha, przebudowywał zamek architekt Alessandro Canneval w duchu wczesnego baroku. Po okresie dietrichštejském państwo przeszło w roku 1721, jako wiano owdowiałej Marie Arnoštky z Gallasu, na własność jilemnických hrabiów Harrachů, a zamek został dodatkową siedzibą tego czeskiego rodu. Ferdinand Bonaventura dokonał w latach 1763-1765 zasadniczej przebudowy zamku za pomocą znanego mistrza Gottfrieda Weissera w stylu późnego baroku. Jego dziełem jest część południowa oraz część wschodniego skrzydła o kształcie rozwartej litery L. W ten sposób powstała oryginalna, wystawna i bardzo pojemna budowla. W roku 1764 zaczął bić zegar zamkowy a w 1766 zakończono dobudowywanie browaru. Dzisiejszy kształt zamek uzyskał w latach 1827-50. W XIX i XX wieku przeprowadzono wewnętrzne modernizacje i przebudowy, ostatnia miała miejsce w roku 1901. Zamek stał się stałą siedzibą Harrachů w drugiej połowie XIX wieku za czasów Karla Alfréda. Ta gałąź wymarła w 1937 na ostatnim znawcy rolnictwa i filantropie Františku Arnošte. Ostatnim właścicielem była jego córka Anna Marie, żona węgierskiego dyplomaty Františka Zikmunda Rosty - Forgache z Barkocz. Najcięższe chwile nastąpiły po roku 1945. Prześladowana rodzina została pozbawiona majątku, część ruchomego wyposażenia została wywieziona na Węgry, po części umieszczono ją na zamku Liběchov, a większość uległa zniszczeniu lub została rozkradziona. Pewna poprawa nastąpiła po sprowadzeniu archiwum województwa Ołomunieckiego w roku 1949. Później sprowadzono więcej zespołów akt. W roku 2002 archiwum zostało zdeponowane w Opawie i Ołomuńcu. Zamek jest pusty i nosi ślady bezwzględnego postępowania. Jest jednak suchy i bez nieodwracalnych uszkodzeń. Ze względu na już poniesione koszty jego renowacja nie stwarza dużych problemów.

Na lessowym pagórku w pobliżu prawego brzegu potoku Podolského powstało w okresie przed zasiedleniem przez kolonistów istniejących pustkowi (1 połowa XIII wieku) drewniane centrum administracyjne umocnione wałem i potężną fosą. W latach 1269-78, w okresie niemieckiej kolonizacji po zakończeniu walk i zaniku starszego osadnictwa, pod ochroną tych umocnień powstało miasto Rýmařov, zawierające rynek i jedną okrężną ulicę. W tym czasie siedzisko zostało przebudowane na częściowo murowany zamek miejski. Jego znaczniejszy rozwój wiązał się z poszerzeniem pałacu i wykonaniem dalszych wewnętrznych budynków w czasie pierwszej połowy XIV wieku. Po zbudowaniu zamek miejski stał się głównym strategicznym punktem obronnym miasta. Przed końcem XIII wieku na zamku, na południe od pałacu uzyskiwano złoto z pobliskich kopalni bardzo nowoczesną metodą wytapiania na specjalnych płytkach. W drugiej połowie XIV wieku podniesiono pagórek zamku znacznie wyższym nasypem i pewnie z uwzględnieniem sytuacji zagrożenia wybudowano na tym samym miejscu ponownie drewniane umocnienie ogrodzone polskim płotem z palisadą. Od roku 1398 morawscy margrabiowie z rabsztejnskiego państwa dawali zastawy swoim wierzycielom zaczynając od okresu wojen domowych. Pierwszy zastawiający Proček z Vildberka wykorzystał sytuację, która dała mu wzrost stanu posiadania ziemi po ustanowieniu pokoju. Razem z Rabštejněm był razem z całym miastem zdobyty i spalony rymarzowski Hrádek w sierpniu roku 1405. Nigdy go nie odbudowano. Po likwidacji zamku w jego budynkach ulokowały się najpierw mięsne kramy a później producenci bardzo oryginalnej renesansowej ceramiki. W latach 1969-88 wykonano tu systematyczne badania i dlatego teraz miejsce jest chronionym terenem wykopalisk archeologicznych. Z tego terenu korzysta muzeum miejskie jako z części ekspozycji geologicznej skał jesenickich a nad pierwotnymi fundamentami jest umieszczona replika pałacu zamkowego z piecem do ogrzewania z końca XIII wieku.