W zabytkowym parku miejskim – w miejscu, gdzie aktualnie znajduje się fontanna przedstawiająca legendarną Muławę – stała niegdyś cerkiew prawosławna pw. św. Jerzego Zwycięzcy. Jej budowę, która kosztowała prawie 30 000 rubli, rozpoczęto we wrześniu 1877 roku na ówczesnych obrzeżach miasta, przy drodze wiodącej do dworca kolejowego. Projektantem cerkwi był architekt Trusow, autor projektów także czterech innych cerkwi, które powstały w tym samym czasie w nadgranicznych miastach: Grajewie, Słupcy, Granicy oraz w Aleksandrowie Kujawskim. Budynek mógł pomieścić 350 wiernych. W dzwonnicy, usytuowanej przed głównym wejściem (od ul. Wyspiańskiego), znajdował się ważący 800 kilogramów dzwon ufundowany przez oddział moskiewskich celników.
Cerkiew rozebrano w 1926 roku, a cegły z rozbiórki wykorzystano do budowy muzeum regionalnego. Teren, na którym stała, wraz wiodącą doń szeroką aleją kasztanową, włączono do parku. W miejscu cerkwi natomiast wykonano klomb na planie krzyża greckiego. W jego centralnym punkcie od 2001 roku stoi fontanna przedstawiająca postać kobiety, alegorię legendarnej Muławy.
Z nieruchomości parafii prawosławnej pozostała do dziś „popówka” – dom duchownego prawosławnego. W latach trzydziestych XX wieku jego południową część zajmowało Miejskie Przedszkole nr 1, a w północnej mieścił się sąd grodzki. W okresie okupacji, gdy park był zamknięty dla Polaków, w dawnym domu popa Niemcy urządzili kawiarnię „Park Cafe”. Po wojnie budynek zaadaptowano na potrzeby służby zdrowia i zorganizowano w nim przychodnię dla dzieci.
W drugiej dekadzie XXI wieku, ze względu na zły stan techniczny, obiekt wyłączono z użytkowania. Burmistrz Miasta Mława podpisał umowę ze Starostą Mławskim i przekazał na cel przychodni lokale przy ul. 18 Stycznia. Budynek „popówki” miasto chciało udostępnić na cele gastronomiczne, jednak nie znalazło chętnych. W 2017 r. rozpoczęło przebudowę „popówki”. Budynek przekształcono w pałac ślubów – mieszczą się w nim dwie komórki Urzędu Miasta Mława: Urząd Stanu Cywilnego oraz Wydział Spraw Obywatelskich.