El Castillo-Fortaleza es una magnífica muestra de la arquitectura militar renacentista del siglo XVI. Proyectado en 1553 por el arquitecto italiano Giovanni Battista Antonelli, su coste fue sufragado por D. Bernardino de Cárdenas, Virrey de Valencia, dentro del «Plan para la defensa de costas del Reino de Valencia”. Con su estructura defensiva hizo frente a los ataques piratas de los Berberiscos que asolaban el litoral.
Se trata de una fortaleza de planta cuadrada, con dos baluartes y dos torreones en las esquinas nordeste y sudoeste, propios del arte militar renacentista. El primero se utilizó como palacio del duque hasta el siglo XVIII. En los otros dos ángulos noroeste y sudeste se encuentran el «Baluarte del Duque» y el «Baluarte del Rey» respectivamente.
Los torreones están realizados en mampostería y sillería encadenada en las esquinas. Los baluartes tiene muros exteriores inclinados rematados por una moldura de medio bocel que rodea todo el recinto. Los vértices de los mismos están redondeados. El acceso principal se sitúa en el lado sudoeste con un arco exterior de sillería de medio punto, se trata de un acceso en «L» según las normas vitrubianas. La muralla es ciega al exterior, mientras que al interior está perforada por superposición de puertas y ventanas de las viviendas de los soldados, que se desarrollan abiertas al patio de armas.
El patio es también cuadrado con los ángulos achaflanados, por los que se accede a las dependencias situadas en los baluartes y los torreones.
Al finalizar las obras en 1557, una guarnición compuesta por 33 personas y sus familias se instalaron en su interior: el alcaide, un alférez, treinta soldados y un capellán, que vivían en los muros del Castillo.
Con el paso del tiempo, los usos civiles sustituyeron a los militares. El 9 de julio de 1859 el Castillo pasó a propiedad del Ayuntamiento, realizando obras de reforma, encaminadas a que el edificio perdiera su carácter de fortaleza.
Desde entonces, el recinto ha sido utilizado para el desempeño de funciones de diversa índole, convirtiéndose en sede de la Casa Consistorial, Cuartel de la Guardia Civil, Juzgado de Paz, hospital y hasta una improvisada plaza de toros.
Actualmente, el Castillo-Fortaleza se halla convertido en Centro Cultural y alberga las siguientes instalaciones:
• Museo del Mar
• Museo de la Pesca
• Sala Municipal de Exposiciones
• Salón de Actos “Baluarte del Duque de Arcos”