L'attuale edificio risale agli anni '20 del Novecento. Le prime proposte per la sua costruzione furono avanzate a partire dal 1919 quando il Ministero dell'Interno invitò gli Istituti archivistici a utilizzare i fondi stanziati dallo Stato per realizzare lavori urgenti di costruzione e restauro dei locali adibiti ad archivio.
Il materiale documentario era allora ospitato nella ex-chiesa gesuitica di S.Teresa situata nel quartiere della Marina dove era stato trasferito nel 1883, dopo una plurisecolare e quasi ininterrotta permanenza nel Palazzo Regio ubicato nel Castello di Cagliari. Messa da parte l'idea di riadattare la vecchia chiesa perché assolutamente inidonea, si optò per la costruzione di un nuovo archivio nell'area compresa tra le attuali via Gallura e via Sonnino, in pieno centro cittadino.
Nel 1921 fu approvato il progetto di costruzione che prevedeva due piani (piano terra e primo piano). I lavori vennero avviati rapidamente e in corso d'opera fu consentita la sopraelevazione di altri due piani ad uso temporaneo degli uffici del Genio Civile.
Il 30 ottobre 1927 la nuova sede venne inaugurata alla presenza delle autorità. L'edificio, progettato secondo le norme di buona conservazione del materiale archivistico (luce, areazione, spolveratura) rappresentò in quegli anni uno dei primi e apprezzati esempi di edilizia archivistica post-unitaria. Rispondente sul piano stilistico ai canoni dell'architettura eclettica, si presenta ancora oggi articolato su quattro piani separati a coppie da una cornice marcapiano; è arricchito da paraste a bugnato ruvido e sbozzato che inquadrano finestre con timpani curvilinei al primo piano e triangolari al secondo. Sul portone d'ingresso spicca un timpano curvilineo spezzato che poggia su due paraste.
Il palazzo subì ingenti danni durante i bombardamenti aerei del 1943: furono distrutte completamente sei sale ed altre quattro vennero gravemente lesionate.
Ai primi del 1944 si iniziarono i lavori di sgombero delle macerie e fu avviato il recupero del materiale archivistico. Sistemate le tre sale agibili e rientrate in sede le carte più antiche che precauzionalmente sin dal 1940 erano state trasferite presso il Comune di Mandas, l'ufficio riprese a funzionare alla fine del 1944.
Negli ultimi decenni il continuo accrescimento del patrimonio documentario, in seguito ai cospicui versamenti delle carte provenienti dagli uffici statali della provincia, ha comportato il completamento degli spazi a disposizione dell'archivio; nel 1981 si é reso quindi necessario chiedere al Genio Civile, passato dal 1975 alla Regione Autonoma della Sardegna, la restituzione dei due piani sopraelevati che, solo nel febbraio del 1999, sono stati riconsegnati al demanio dello Stato e quindi all'Archivio.
Attualmente è in corso il Progetto di ampliamento e di recupero funzionale della sede.
