Il sito su cui sorge il castello è da identificare con il luogo, sul colle di san Flaviano, in cui Federico II di Svevia, in lotta con Tommaso Conte di Celano e Molise, fece costruire delle fortificazioni durante l’assedio del 1223. Tali fortificazioni erano quasi certamente soltanto opere in legno e terra battuta, tuttavia segnarono l’inizio di quello che sarebbe stato una solida fortificazione nei secoli successivi, in posizione dominante sul lago Fucino e in allineamento visivo con altre strutture militari presenti nel territorio come le torri di Aielli e Collarmele.
La costruzione del castello vero e proprio iniziò nel 1392 su commissione di Pietro Berardi, conte di Celano, ma già in precedenza, negli anni tra il 1356 e il 1380, suo nonno e poi suo padre avevano provveduto a fortificare il Colle San Flaviano erigendo un sistema di mura con torrette rettangolari “a scudo” e costruendo la torre-mastio sommitale a pianta quadrata. Pietro di Celano, dunque costruì il solo piano primo con le torri quadrangolari agli angoli, fino al marcapiano, integrando la torre-mastio sull’angolo nord-est. Egli, altresì edificò il cortile interno alle mura dotandolo del loggiato con arcature a sesto acuto ancora visibile.
Durante il grave terremoto del 1915 che si abbatté sulla Marsica, il castello risultò gravemente danneggiato riportando il crollo del loggiato nel cortile, di alcune volte, di tutti i solai, del cammino di ronda e di tutte le loggette. Si formarono altresì gravi lesioni sulle torri angolari, una delle quali, quella di sud-est, crollò dimezzando la sua altezza.
Gli interventi di restauro iniziarono solo 25 anni dopo il sisma, nel 1940, a seguito dell’esproprio da parte dello Stato nel 1938, ma furono subito interrotti per cause belliche (Seconda guerra mondiale) e ultimati nel 1960, applicando la nuova normativa antismica vigente all’epoca