Fino al 1859, in questo spazio sorgeva la chiesa di Mater Domini Antiqua, costruita durante il periodo angioino nel 1316 ma poi crollata a causa dell'antichità.
Secondo un registro del XVII secolo, accanto alla chiesa c'erano altre due cappelle, una dedicata a San Giuseppe, Sant'Antonio e San Trifone, e l'altra allo Spirito Santo. Dopo il crollo della chiesa, sopravvisse per alcuni decenni una cripta contenente un affresco raffigurante la Vergine con il Bambino, ma anch'essa venne distrutta alla fine del XIX secolo.
Di queste strutture religiose, oggi rimangono solo pochi frammenti, tra cui una lesena listellata in stile ionico risalente al XIV secolo, visibile all'ingresso del Largo da Via Purgatorio, e un cornicione accanto a una nicchia che ospita un'immagine moderna della Vergine, situata lungo Via Muraglie. Questi elementi potrebbero essere parte dell'antica chiesa e forse rappresentano i resti della cosiddetta "cripta" risalente al XIV secolo.
Nei dintorni della chiesa di Mater Domini, dal XIV fino agli inizi del XVII secolo, si trovava il primo Convento dei Francescani della Scarpa. Nel XVII secolo, i francescani si trasferirono in una nuova sede al di fuori delle mura, presso l'attuale chiesa dell'Immacolata.
Il primo convento francescano è entrato nella leggenda di Mottola: si racconta che nel 1389, durante le lotte dinastiche di successione degli Angioini, la fortezza di Mottola, che supportava i Durazzeschi, fu espugnata e distrutta grazie al tradimento di Frate Nicola Diego di Conversano. Si dice che il frate consentì l'ingresso dei Francesi del Viceré di Napoli Mongioia nella città attraverso un passaggio segreto del convento.