Realizzata tra il 1869 e il 1875, la Villa Comunale nasce come Orto Botanico Sperimentale Agrario a cura di Ignazio Rozzi ed è per questo che al suo interno si trovano numerose specie di piante, anche provenienti da paesi diversi dall'Italia.

Con gli anni Settanta del secolo scorso, con la progressiva decadenza dell'orto botanico e lo scioglimento della Società Economica provinciale, l'Amministrazione civica si era attivata per la realizzazione di una grande piazza e di un parco cittadino. Nonostante la lunga vertenza nell'acquisizione per la pubblica utilità dell'area, i lavori esecutivi si conclusero nel1888 per la Villa comunale e nel 1901 per Piazza Garibaldi. 

All'interno dei giardini era stato compreso anche l'edificio, ancora di proprietà della Provincia, che la Società economica, dal 1842, aveva provveduto a trasformare nella sua sede. Tale edificio ben si presentava, per la sua posizione urbanistica, a diventare, grazie a una nuova ristrutturazione la sede della Pinacoteca Civica.