Documentat des del 969, el castell va pertànyer, primer, als comtes de Pallars i, més endavant, en la seva època més "esplendorosa", als Mur. Al 1055, Ramon IV de Pallars Jussà el cedeix en feu a Arnau Mir de Tost com a dot per casar-se amb la filla Valença. Des de llavors, el seus dominis van créixer de tal manera que aviat s'hi van afegir més fortaleses com els castells de La Guàrdia, Estorm, Moror, l'Alzina i Puigcercós. Al morir Arnau Mir, va lliurar les seves possessions a la seva filla Valença, i al seu net Arnau. A partir d'aquí, les següents generacions continuarien fent créixer el patrimoni heretat.
El castell s'assenta directament sobre la roca adaptant-se a la forma del relleu. El recinte té 31 m de longitud i la muralla, d'1 m de grossor, té una altura que varia entre els 14 i els 18 m.
Des del castell hi ha una impressionant vista de la comarca del Pallars Jussà amb el Pantà de Terradets en primer terme.
