Placówka powstała w 1946 r. jako Powiatowa i Miejska Biblioteka Publiczna. Miała wtedy w swoich zbiorach 364 książki. Początkowo księgozbiorem opiekował się inspektor szkolny Andrzej Krzemiński, ale już w 1947 roku funkcję dyrektora objęła Halina Olszewska. Od tamtej pory datuje się szybki rozwój biblioteki i jej agend terenowych. W 1948 r. na Wólce została otwarta filia biblioteki. W 1956 r. w skład PiMBP wchodziło 14 bibliotek wiejskich i aż 126 punktów bibliotecznych.
Cztery lata później patronem mławskiej biblioteki został Bolesław Prus. Wybór nie był przypadkowy. W 1887 roku pisarz oglądał — w towarzystwie kilkuset warszawian — pod mławskim laskiem zaćmienie Słońca. Na łamach „Kuriera Codziennego” zwierzył się, ten trwający półtorej minuty seans był dla niego wstrząsającym przeżyciem, dotknięciem sacrum. Badacze twórczości Prusa przypuszczają, że znakomite sceny zaćmienia słońca zawarte w „Faraonie” jego autor skonstruował na podstawie swych obserwacji i doznań w Mławie.
Z myślą o najmłodszych czytelnikach, biblioteka otworzyła w 1966 r. dział dziecięcy z wypożyczalnią i czytelnią. Było to możliwe dzięki temu, że rok wcześniej przeprowadziła się do dużego, wyremontowanego lokalu przy ul. 3 Maja, który zajmuje do dzisiaj (wcześniej mieściły się tam siedziby słynnego Towarzystwa Śpiewaczego „Lutnia” i Ochotniczej Straży Pożarnej).
W 1971 roku stanowisko dyrektora (w międzyczasie biblioteką kierowała Irena Zaboklicka) objął Józef Bartkowski. Reforma administracyjna kraju w 1975 r. spowodowała, że biblioteka przestała być instytucją powiatową, ale nadal sprawowała opiekę metodyczną nad bibliotekami gminnymi. Było ich wtedy, razem z filiami, 23 (w 1974 r. powstała filia nr 2 w Mławie). W czasie odradzania się w Polsce samorządu terytorialnego, biblioteka stała się jednostką miejską i zerwała więzi z bibliotekami wiejskimi. Od 1986 r. jej dyrektorem jest Maria Świtoń, laureatka tytułu Mławianin Roku 2017.