En un principio, este mismo edificio estuvo destinado a la Academia de Bellas Artes. Esta institución se creó en 1849, por el Real Decreto de 31 de Octubre que mandaba organizar los museos provinciales. Poco después, en 1852, la Academia destinó algunas dependencias para el museo. Poco a poco, fueron aumentando los fondos, aunque el grueso de las obras de arte procedió de los conventos suprimidos y también de importantes legados públicos y privados. Ya en 1876 se publicó un catálogo de 122 cuadros antiguos, 58 del siglo XIX y 76 grabados. El catálogo de César Pemán del año 1966 contabilizaba 192 cuadros.

Estatua de Trajano. (Museo de Cádiz)

En cuanto a los fondos arqueológicos, la formación del Museo parte del hallazgo del sarcófago antropoide masculino en 1887, pieza nº 1 del actual inventario general de fondos. El Museo Arqueológico tuvo su sede provisionalmente en el edificio actual en Diciembre de 1887, con entrada por el Callejón del Tinte. En 1904 se instaló en la Biblioteca Provincial, en el Paseo de Canalejas para, en 1935, volver a la planta baja del edificio actual, coexistiendo con el Museo de Bellas Artes, hasta que en 1970, con ocasión de crearse el Patronato Nacional de Museos, se fundieron en el actual Museo de Cádiz.

A partir de 1980 se acomete la reforma y remodelación completa del Museo. En 1990 se abre al público el conjunto de las salas de exposición situadas en torno al primitivo patio del Museo, totalmente remodelado.