La chiesa è frutto di una ricostruzione, prolungatasi per quasi cinquant’anni a partire dal 1761, avvenuta in seguito alla sostituzione della precedente chiesa di Santa Croce, ceduta nel 1578 ai carmelitani dalle monache di San Giovanni. Presenta una facciata divisa da cornici aggettanti a più riseghe, scandita da paraste, con semplice portale ad architrave piano e finestrone centrale con timpano ad arco ribassato. Sopra il portale è un affresco raffigurante la Madonna del Carmine e i santi. L’interno, a unica navata, è articolato in due campate con volta a padiglione ribassato, alternate a due brevi campate di passaggio. Il presbiterio è stretto e chiuso da abside, secondo i dettami cari al tardo barocco di questa zona, esso reca inoltre una modesta decorazione a stucco eseguita successivamente nel 1775. Qui si distingue per elevata realizzazione e qualità la statua di Madonna col Bambino della probabile bottega dello scultore ascolano Lazzaro Giosaffatti. Nella chiesa sono conservati anche un coro ligneo e un Crocifisso ligneo databili al Cinquecento.

Divenne dopo il  1809 quartiere della gendarmeria ed ancora oggi, adiacente alla chiesa, ha sede la Caserma dei Carabinieri nell'area dell'antico convento. Successivamente alla soppressione murattiana,  la Chiesa fu conservata dalla "Confraternita di Maria SS. del Carmine e del SS. Sacramento" che ancora oggi ne mantiene la proprietà. A fianco della chiesa, che pur conservando il titolo di Madonna del Carmine è sede della Parrocchia di S. Maria a Bitetto, sorge anche la casa parrocchiale.