Antico castello feudale noto alle fonti fin dal 1056, sorse su quelli che dovevano essere stati importanti insediamenti monumentali di epoche precedenti e sul territorio si è accertata la presenza anche di diverse ville romane.
Oggi Pantaneto è poco più di un pugno di case, quasi tutte di epoca ottocentesca e moderna, ma si può ammirare, lungo la strada che va per Castagneto, la splendida Chiesa di S. Maria de Praediis, nota per gli affreschi, che i documenti riportano esistente già nel 1153; l'edificio porta, rimessi in opera, due colonne romane ed un bellissimo capitello corinzio.