La torre dell´elefante fù progettata e costruita a Cagliari nel 1307, due anni dopo quella "gemella" di San Pancrazio, dell´architetto sardo Giovanni Capula, su ordine dei consoli pisani Giovanni De Vecchi e Giovanni Cinquini.
Le torri servivano come baluardi difensivi per i numerosi attacchi genovesi e moreschi. In epoca spagnola vennero utilizzate anche come carceri.
Nel 1383, alla morte di Ugone III, sua sorella Eleonora prese la reggenza del giudicato di Arborea. Suo marito Brancaleone Doria cercò di trattare con il re bi Spagna Pietro il Cerimonioso la resa bi alcuni territori occupati da Ugone.
Il re lo arrestò e lo fece rinchiudere, prima nella torre di san Pancrazio e, in seguito, nella torre dell´elefante dove rimase per 7 anni.
Eleonora si prodigò in tutti i modi per il rilascio bi Brancaleone. Il 1 gennaio bel 1390 egli fu improvvisamente liberato.
Questo racconto è l´ipotesi romanzata di uno dei tentativi di Eleonora per liberare il consorte.
Le torri di San Pancrazio, in Piazza Indipendenza, e dell´elefante, in Pizza San Giuseppe, sono tutt´oggi le porte principali per entrare al centro storico della città di Cagliari, chiamato Castello.