Sul sito dell'attuale chiesa, in antichità vi sarebbe stato un luogo per il culto pagano: lo testimoniano due medaglie bronzee rinvenute durante i lavori di restauro, rappresentanti le divinità egizie di Iside, Osiride e Oro.

La chiesa, con buona probabilità, sarebbe stata eretta dai cannesi che, dopo la distruzione di Canne ad opera di Roberto il Guiscardo nel 1083, si rifugiarono a Barletta, fondando il borgo di San Giacomo e la chiesa omonima con ospizio e monastero.

Nel 2001 la chiesa ha subito ingenti lavori di restauro e consolidamento, che hanno riportato in luce le linee architettoniche originarie dell'edificio.

La chiesa possiede un ricco patrimonio di tavole, tele, oggetti liturgici, reliquiari e paramenti sacri compresi tra il XIII e il XX secolo.