El lloc de Berlanga apareix per primera vegada en un document de l'any 975, quan el general Galib passa per la zona amb el seu exèrcit per socórrer a la fortalesa de Gormaz, que estava sotmesa a un setge per les tropes cristianes. El comte Garcia Fernández va intentar, sense èxit, fer una emboscada a les tropes musulmanes en la plana que envolta Berlanga. L'any 1060, el rei Fernando I va conquerir tota aquesta zona de frontera al voltant del riu Duero. A partir d'aquell moment, Berlanga es converteix en el cap d'una comunitat de vila i terra, de la que dependran 33 poblacions.

En 1113, els musulmans intenten recuperar la vila, aprofitant els enfrontaments entre el matrimoni format pel rei Alfons I d'Aragó i Urraca de Castella. La ràpida acció de la reina enviant tropes a la població va evitar la seva conquesta. Fruit d'aquesta situació, Berlanga va quedar sota el poder d'Alfons fins a la seva mort en 1134, que va passar definitivament a Castella.

En el segle XIV, Alfons XI va donar la vila al seu fill bastard Tello. En 1370, Tello va donar la vila a la seva amant, Elvira de Lezcano, amb qui va tenir una filla, Leonor de Castella. Aquesta es va casar amb Juan Fernández de Tovar, passant el castell i Berlanga a aquesta nissaga. Entre 1448 i 157 va tornar a mans de la Corona, doncs el rei la va confiscar. En 1466, Luis de Tovar comença la construcció d'un nou castell sobre les restes del medieval. D'aquest edifici es conserva la torre de l'homenatge, de planta rectangular, part dels murs perimetrals i una torre circular.

Aquest castell va ser reforçat en el segle XVI per ordre de Juan de Tovar per tal d'adaptar-lo a l'ús de les armes de foc. És en aquest  moment que es construeixen quatre grans torres circulars i uns murs de major gruix.

Paral·lelament es va començar la construcció d'un palau a la falda del turó on s'alça el castell. La desaparició dels conflictes militars a la zona i la finalització del palau faran que el castell no s'acabi.

Si que es conserva gran part de les muralles medievals que envoltaven la població. La part més interessant correspon al primer anell de muralles, datat entre els segles XI i XII. Envoltava a la població que s'estenia per tot el turó, sota la protecció del castell.

Aquest mur, coronat amb merlets, està reforçat per nombroses torres semicirculars.

Junt al palau s'obre la porta del mercat.

A partir del segle XV la població sortirà de les muralles i s'anirà establint a la plana, a peus del castell. Dins del recinte fortificat només queden en peu les restes de l'església de San Juan.

Per això va ser necessària la construcció d'una segona línia de muralles, de la que gairebé no es conserva res. S'accedia a la població per tres portes, de les que només es conserva la d'Aguilera, que va ser monumentalitzada en el segle XVI.