Najważniejsza budowla dominująca nad średniowiecznym rynkiem i całym miastem nosi ślady tego, co miasto przechodziło w swej długiej historii, nie wykluczając pożarów. Dolną graniastą część tzw. Wieży miejskiej, która wytrzymała ostatni atak z typowymi strzelnicami, można datować najpóźniej na przełom XIV i XV wieku. Drugim najstarszym elementem były półki chlebowe, drobna przybudówka u trzonu wieży, którą bezmyślnie zburzono zaraz po roku 1945. Dowodem jej istnienia w epoce renesansu jest rysunek na mapach Pavla Fabricia z lat 1569 i 1575 oraz ośmiokątna nadbudowa wieży pierwotnie z igielnym hełmem. Wczesną barokową przebudowę po pożarze 1668 znamy z panoramy miasta z roku 1693. Dach ratusza tworzyły dwa szczyty a wieża wznosiła się nad galerią upiększoną dwiema barokowymi, cebulkowymi kopułami. Miasto znało czas podawany na początku przez bijący zegar wieżowy z jedną wskazówką. Na pierwsze piętro wchodziło się schodami zewnętrznymi, a parter nadal służył jako jatka mięsna i kramy, w których oferowali swój towar przyjezdni handlarze, na piętrze była wielka sala obrad dla rady miejskiej, pomieszczenie pisarza miejskiego i archiwum oraz arsenał miejski. Razem z rajcami w ratuszu byli tylko dwaj pracownicy, najwyżej jeszcze z dwoma pomocnikami katowskimi, radni i starosta działali społecznie. Jest prawdopodobne, że w piwnicy ratusza dokonywano przesłuchań podejrzanych i było stosowane prawo łaski. W dniu 3 kwietnia 1790 ratusz nie przetrzymał strasznego pożaru, któremu oprócz piwnic i paru kamiennych budynków parterowych uległo całe miasto ze swymi dwoma przedmieściami. Z pomocą unii miast morawskich i Harrachů obywatele całego Rýmařova ze swoim centrum administracji, w całości je odbudowali we wdzięcznym stylu klasycystycznym i empire. Wieża utraciła galerię, została pokryta prostym klasycystycznym hełmem z latarnią i dzwonami. Dzisiejszy ratusz zachował kształt, który w zasadzie nadano mu w roku 1808, kiedy to odnowiono wszystko, łącznie z interesującym wnętrzem, ale uważny obserwator łatwo dojrzy szereg wcześniejszych elementów. Nad wejściem jest umieszczony kamienny herb miasta z roku 1844. Ostatnie, bardzo staranne prace restauracyjne przeprowadzono w latach 1991-1994. Poszerzyły one powierzchnię o użytkowe poddasze. Na placu warto zobaczyć mariański słup z roku 1683 z herbem ditrichštejnským i Hoffmanským, którego niewysoki piedestał z wgłębieniem i interesującymi kratkami, symbolem latarni, koronuje wysoka, cenna rzeźba modlącej się Najświętszej Marii Panny Niepokalanej wykonana przez ołomunieckiego rzeźbiarza Františka Leblose. Niżej inny ołomuniecki mistrz Severin Tischler w roku 1733 umieścił rzeźbę najważniejszego barokowego świętego - Jana Nepomucena. Kamienny pręgierz z roku 1680 znajduje się obecnie we wstępnej części muzeum miejskiego w dolnej części placu.