Od 16. stoljeća je Koprivnica postala vojno uporište što je utjecalo na primjene u Gospodskoj (danas Esterovoj) ulici. Vojska je imala utjecaj na to da su na samom kraju Gospodske ulice, uz nekadašnji franjevački samostan (danas dvorišni prostor župnog dvora župe Sv. Nikole biskupa) izgrađene vojna ljekarna na mjestu koje je i danas prostor s istom namjenom te nasuprot nje zgrada vojnog spremišta (1893. porušena, a spominje se od 1660.) gdje je jedno vrijeme djelovala i gradska bolnica. U toj su se zgradi davale i prve kazališne predstave s time kako valja napomenuti da se prva kazališna predstava spominje još 1824. godine. Na drugom kraju ulice je u drugoj polovici 17. stoljeća izgrađen novi franjevački samostan s crkvom Sv. Antuna Padovanskog pa je ulica dobila današnji izgled.
Nakon odlaska vojske iz Koprivnice i stoljeće kasnije rušenja većeg dijela bedema Gospodska ulica prestaje biti dijelom „zatvorenog” dijela grada. Još ranije, najvjerojatnije u 17. stoljeću glavninu trgovačkih i drugih gospodarskih funkcija je od Gospodske ulice preuzeo novi barokni trg (danas Zrinski i Jelačićev trg). Usprkos tome tamo su još jedno vrijeme ostale gradska vijećnica (danas Muzej grada Koprivnice), obje koprivničke crkve te još neke gradske zgrade javne namjene.
Prema starijim planovima Koprivnice može se zaključiti kako je ulica imala zapravo da dijela, jedan je bio istočno od današnjeg Brozovićevog trga i on je bio manje gustoće s posebno istaknutom obiteljskom kućom Malančec građenom početkom 20. stoljeća, dok je se prostor zapadno sastojao od dvije inzule gusto raspoređenih kuća. Dio danas sačuvanih kuća na prostoru nasuprot crkve Sv. Nikole biskupa izgrađen je ili u 18. stoljeću (kuća nekadašnje licitarsko-medičarske obitelji Ujlaki-Sulimanović – tamo je 1906. umro poznati hrvatski književnik Josip Kozarac) ili početkom 20. stoljeća (ljekarna i palača izgrađena na mjestu nekadašnje kuće gradonačelnika Martina Ožegovića). Na žalost 1945. je srušena medičarska radnja obitelji Ujlaki-Sulimanović u kući izgrađenoj u 17. Stoljeću. U novije vrijeme je srušena i susjedna stambeno-obrtnička kuća obitelji Ostrovski-Peršun-Horvat, najvjerojatnije građena u 18. stoljeću. Na kraju ulice, nasuprot crkve Sv. Antuna Padovanskog sačuvana je stara kuća iz 18. stoljeća koja je prepoznatljiva po osebujnom zabatu, koja je uglavnom imala stambenu namjenu iako je jedno vrijeme u njoj djelovao i mjernički ured.
Na prostoru nekadašnje upravne zgrade generalata je u drugoj polovici 19. stoljeća izgrađena nova zgrada pučke škole (u njoj je počela s radom i koprivnička gimnazija), ali je ona srušena na kraju drugog svjetskog rata. Na njenom mjestu je kasnije izgrađena zgrada osnovne škole (2. osnovna) koja nije bila kvalitetno građena ta je nedavno srušena. Trenutno je na tome prostoru parkirališni prostor.