Al pie del peñón quedan los restos de los dos cubos que flanqueaban el arco de entrada, del que aún se puede ver el salmer , y que constituyó la puerta de acceso al patio de armas de la fortaleza. En la cima el castillo se dispone en dirección norte-sur, con la fachada en el oeste, y los restos de la torre en el extremo sur. Un vano ojival doblado, con aparejo de sillería colocada a hueso, sobre el que se encuentran lo que parece las ménsulas de arranque de un matacán, permite el paso al interior: una estancia larga y estrecha cubierta por una bóveda de cañón levemente apuntada cuyas tensiones se resuelven directamente sobre los propios muros, de gran potencia. Existe también un tramo que parece cubierto por bóveda de arista. Esta estancia está parcialmente excavada en la roca, y aparece dividida en dos espacios por un paño de muro en el que se abre un arco de medio punto; antes de pasar este vano es destacable una caverna artificial, también excavada en la roca. Al fondo una escalera tallada en la roca conduce al piso superior, una terraza de unos 36 metros de longitud en la que está excavado un aljibe. Son elementos constructivos importantes además de los ya mencionados y el aljibe, los garitones sobre modillones, y también la aspillera con un amplio derrame al interior.
Este castillo tuvo las funciones de prisión, vigilancia y defensa. Entre los días 22 de enero y 19 de mayo de 1528, siendo noveno señor de Poza Juan Rodríguez de Rojas, los embajadores de Francia, Milán, Florencia, Inglaterra y Venecia, de la Liga Clementina, estuvieron presos en este Castillo por orden de Carlos I. Fueron conducidos a la villa por Pedro López Hurtado de Mendoza. Andrea Navaggero, el embajador de la república de Venecia, describe su estancia y la villa en su obra Viaje por España. Al mismo tiempo que estos embajadores, el día 15 de abril de 1528, Carlos I ordenó el encierro en Poza de Ricardo Cuper, Procurador de los corsarios ingleses que asaltaron y tomaron la nao “Espíritu de Gracia”, propiedad de mercaderes burgaleses, en Belém, cerca de Lisboa, en la noche del 10 de marzo de 1525.
La función defensiva del castillo se puso de manifiesto en la Guerra de la Independencia entre las tropas francesas al mando de General Palombini y la guerrilla de Francisco Longa y Juan de Mendizábal en la que se conoció históricamente como acción de Poza. Durante las Guerras Carlistas el castillo fue ante todo lugar de vigilancia.