La villa de Aínsa, en la que cabe distinguir dos núcleos diferentes, uno sobre una atalaya -la antigua, otro, en las márgenes de los ríos Cinca y Ara que se abrazan envolviendo la población nueva.
Los pobladores más antiguos parecen ser los romanos, por los restos hallados cerca de la "Cruz Cubierta" En fechas posteriores, la posible ocupación visigoda, musulmana e incluso bajo control franco no nos ha dejado huellas que los historiadores puedan aportar para sus trabajos. Por el contrario es la leyenda la que se encarga de fijar la fecha del año 724 como el comienzo histórico de Aínsa.
Las tropas cristianas al mando de GARCI-XIMENO venido de la zona de Jaca, vencen al ejército moro junto a los muros de la villa. Para ello se vieron ayudadas por la aparición de una Cruz sobre una carrasca, provocando el pánico entre los moros, que huyeron. La villa es reconquistada y el palacio moro pasa a ser residencia de GARCI-XIMENO.
Así nace el futuro condado de Sobrarbe entre una aureola legendaria, hasta que en el año 820 es declarada capital del Sobrarbe. Es en 1124, cuando Alfonso I concede a Aínsa una "carta puebla" que favorece la llegada de gentes de otras zonas por lo que la villa ve aumentar su censo de población. Y a partir de esta fecha, su situación geográfica sería motivo de todo tipo de ventajas.
El castillo, que está siendo reconstruido, conserva el conjunto amurallado y los torreones en los ángulos. Es obra de los siglos XI y siguientes, destacando el amplísimo patio de armas. La Plaza Mayor, de trazado trapezoidal "la más hermosa de la España medieval" con todas sus construcciones originales, quizás de los siglos XII y XIII con dos lados frente a frente, porticados en una armónica sucesión de fachadas. Las murallas, en pie la casi totalidad de su trazado, es de dos épocas, el primer recinto corresponde a los siglos XI - XII y el segundo, a los siglos XIV - XV. Las calles interiores, dos, que forman el casco urbano, se encuentran muy cuidadas, conservando el sabor de épocas anteriores. La calle Mayor está cerrada por sendos arcos en sus extremos.
La Cruz Cubierta es un sencillo monumento situado a corta distancia del castillo -en el lugar donde se supone librada la batalla contra los sarracenos, que simboliza el nacimiento histórico de la villa. En su interior se pueden ver los emblemas de Aínsa y Sobrarbe.