En el escudo de la villa de Bullas aparece como elemento central un castillo con tres torreones. Cierto es que los orígenes de la población estuvieron estrechamente ligados a esta fortaleza, que ofrecía a los bullenses de antaño asilo y protección en una época de permanentes guerras y saqueos.

De aquella fortificación apenas quedan unos restos visibles en ciertas callejuelas del casco viejo, integrados en las casas antiguas. Sus piedras fueron empleadas a lo largo de los siglos XVII y XVIII para la construcción de las casas de una población en constante crecimiento. Las sencillas técnicas constructivas empleadas hasta época reciente, reaprovechaban e integraban las estructuras preexistentes en las viviendas de los muros de las viviendas actuales que ha favorecido la conservación en el subsuelo de buena parte de los niveles arqueológicos.

El castillo se perdió para siempre, pero su memoria permanece en Bullas asociada a un sector urbano concreto. Ahí tenemos la Placeta y la Calle del Castillo.

La importancia del baluarte es crucial para la historia de la villa, y el nombre de Bullas aparece en casi todos los documentos medievales vinculados a su castillo.

Nada se sabe de su origen. Lo único que parece seguro es que fue construido por los musulmanes, antes de la conquista castellana, probablemente entre los siglos XII y XIII.