1512 rok jest kolejną ważną datą w dziejach Raciąża. W tym roku biskup płocki, Erazm Ciołek zamienił swoje dobra w województwie królewskim na Raciąż, należący do tej pory do króla. Zamiana nie została dokonana od razu, ale z całą pewnością możemy stwierdzić, że w roku 1519 właścicielem Raciąża był już biskup płocki. Od tej pory miasto było własnością każdego następnego biskupa płockiego. Mniej więcej w tamtym czasie utworzono również województwo płockie oraz powiat raciąski, jeden z najliczniejszych w województwie. Podkreślić należy również, że Raciąż stał się miejscem zbrojnych popisów pospolitego ruszenia z województwa płockiego, które były swego rodzaju manewrami wojskowymi tamtych czasów. Pokazy te odbywały się 23 IV w czasie odpustu raciąskiego.
Raciąż stanowił centralny powiat województwa płockiego. Był to czynnik, który obok wielu innych podnosił znaczenie miasta w regionie. Z tego też powodu właśnie w Raciążu odbywały się sejmiki, na które zjeżdżała się szlachta z całego województwa. Pierwszy taki zjazd odbył się 14 I 1512 roku. Sejmiki odbywały się w kościele parafialnym, a czasem na przykościelnym cmentarzu. Zdarzało się, że obrady były burzliwe, a sejmik zrywano. Okres obrad bywał prawdziwym świętem miasta. Przed kościołem pojawiały się kramy, a właściciele szynków odnotowywali ogromne zyski. Niemniej jednak sejmiki były uciążliwe dla zwyczajnych mieszkańców.
Raciąż zaczął upadać w połowie XVII wieku. Za początek upadku możemy uznać najazd szwedzki w 1655 roku. Właśnie wtedy został zburzony drewniany zamek raciąski (powstały prawdopodobnie w XVI wieku) oraz zdewastowany został kościół. Miasto opuściła większa część jego mieszkańców. Upadkowi miasta przyczyniła się także epidemia, która wybuchła w 1661 roku. Następne lata nie były lepsze. Mieszkańcy miasta pozostawieni sami sobie nie potrafili odbudować struktur miejskich, nie uiszczali podatków i nie uprawiali roli. Wielu przenosiło się do okolicznych osad wiejskich, rozwinęło się osadnictwo puszczańskie.
Kolejne kroki na drodze do upadku nastąpiły na początku XVIII wieku. Wtedy właśnie rozegrała się wielka wojna północna, której działania w dużej mierze odbywały się na terenach polskich. Raciąż znów znalazł się w rękach Szwedzkich. W tym czasie na Mazowszu zagościła zaraza i głód.
