Znajduje się obok cmentarza komunalnego, na końcu ulicy O. Maksymiliana Kolbego. Powstał w II połowie XIX wieku, po przybyciu do Mławy carskich oddziałów wojskowych, urzędników, kupców, pragnących szybko się wzbogacić.

Dla potrzeb prawosławnych zbudowano również w 1879 roku cerkiew w zachodniej części miasta (na terenie obecnego parku miejskiego). Cmentarz był używany do I wojny światowej. W okresie dwudziestolecia międzywojennego był dobrze usytuowany, po II wojnie światowej, od lat pięćdziesiątych, jako „miejsce niczyje" ulegał szybkiej dewastacji. Obecnie jest porośnięty krzewami i zaroślami, wśród których znajduje się kilkanaście rozbitych i zdewastowanych grobów, oraz kilka przewróconych dużych krzyży.