Przy bazylice znajdziemy również pozostałości murów miejskich, które zaczęto wznosić równocześnie z miastem, czyli od lat 30. XIV wieku. Sam zamek krzyżacki znajdował się między murami a zakolem rzeki Drwęca. Po przeniesie siedziby wójta do Bratiana zamek służył jako młyn wodny, który następnie został zniszczony w XVII wieku. W murach otaczających miasto znajdowało się 21 prostokątnych baszt, 3 baszty okrągłe, jedna kwadratowa wieża w narożniku południowym oraz 3 baszty bramne: Brodnica, Lubawska oraz Bratiańska. Mury otaczała podwójna fosa z międzywałem. Od bramy Lubawskiej przez fosę biegł most z kolejną bramą pomiędzy dwiema okrągłymi basztami (barbakan) w kierunku Lubawy i Bratiana z rozciągającym się przy trakcie przedmieściem. Wyjazd przez bramę Brodnicką prowadził na teren dawnego zamku, skąd trakt rozdzielał się w kierunku południowym przez rzekę Drwęca i w kierunku zachodnim przechodził przez kolejną bramę (dawnego zamku). Mury uległy zniszczeniu w XVII wieku podczas Wojny Północnej, najwięcej zniszczeń dokonano w wieku XIX, kiedy to część z nich posłużyła pod budowę ulicy Okólnej. Obecnie mury zachowały się fragmentarycznie w kilkunastu punktach w mieście, m.in. przy kościele, gdzie widoczna jest podstawa baszty łupinowej wraz z fragmentem murów gotyckich oraz basztą prostokątną.
