El castillo o fortaleza de Lobeira está situado en el monte del mismo nombre, al cual se puede llegar fácilmente por la carretera que une Vilagarcía con la parroquia de Baión.

La primera referencia histórica de la fortaleza es probablemente la que aparece en un documento del año 964, en el que se menciona a dicho castillo como propiedad de la condesa doña Ildaura o Aldara, madre del célebre obispo San Rosendo.

En años posteriores se haría famosa la fortaleza por haber sido lugar de residencia o encarcelamiento de personajes importantes de Galicia. Así, el arzobispo Gelmírez estuvo prisionero en el castillo de Lobeira, del que fue liberado por Arias Paz.

Por el contrario, el castillo se haría famoso porque en el mismo, la reina doña Urraca, - tan amada como odiada por los gallegos - urdió una trama para prender al ya citado arzobispo Gelmírez.

Después, aparecen como dueños del castillo, conocidos personajes de la nobleza gallega tal como Ruy Soga de Lobera, dueño también de villas tan importantes como Finisterre, Muros o Malpica.

Muchas descripciones se han hecho del famoso castillo, y probablemente la más fidedigna fue la del visitador Jerónimo del Hoyo, el cual hacía a principios del 1600 la siguiente descripción del mismo:

“Tiene una sola puerta y toda ella es de piedra de grano: y entrando por la puerta tiene una plaza de armas, y por la parte del poniente y medio día tiene una fuerte muralla, y hacia la parte del septentrión y del oriente tiene una torre muy fuerte y la puerta de esta tierra está más alta, que para subir a ella es menester una escalera. Dentro de esta torre no hay ningún aposento ni tiene tejado, sino solo las paredes. Por una esquina baxa una boca estrecha, por donde apenas cabe un hombre arrastrando por debajo de la pared y muralla fuera de la otra fortaleza sin que le puedan ver ni sentir, si no es los que saben este secreto: el cual por la parte de fuera no se puede echar deber por rematarse y estar cubierto con unos grandes peñascos”.

Hasta aquí la fiel descripción del Visitador del Arzobispo, ya que la tuvo que ver necesariamente, si bien, después de ser reconstruida tras su destrucción por los Irmandiños.

Lo que anota el visitador arzobispal a continuación de la descripción, pertenece ya al mundo de las leyendas populares que probablemente le contaron cuando hizo la visita. Comenta sobre esto que, “Dicen hay una mina por debajo de la tierra, que va desde esta fortaleza a la mar de junto a Cambados, que está della una legoa. Y estando cercada la dicha fortaleza para coger por hambre a los que estaban en ella, que dotra suerte era inespugnable los cercados, por la dicha mina iban a la mar y traían pescado fresco con que sustentar y al cabo de mucho tiempo que duraba el cerco, los dichos cercados arrojaron al ejercito de los enemigos algunos pescados frescos, por do conocieron que no les podían coger por hambre y ansí, levantaron el cerco”.

Los años fueron destruyendo sus muros, de tal modo, que si alguien quiere ver los antiguos sillares o piedras que cerraban sus muros, tiene que ir al pazo del Rial, cuyas paredes fueron en gran parte construidas con dichas piedras procedentes del castillo de Lobeira. Sí que puede admirarse en la cúspide del monte la famosa Cruz de Lobeira y la placa conmemorativa inglesa.

La Cruz de Lobeira fue inaugurada en agosto de 1896 por el comandante de Marina de Vilagarcía, Adolfo Reynoso y Diez de Tejada, para recuerdo de todos los marineros muertos en los numerosos naufragios de la ría. Por su parte, la placa de los ingleses fue colocada el año 1895, explicando en inglés el motivo de la misma: “En memoria de los ciento setenta y tres oficiales y marinos que perdieron sus vidas en defensa del barco Serpent, de la Corona Británica, el 10 de noviembre de 1890 en Punta del Buey de Camariñas. Esta placa fue colocada por el Almirantazgo británico en 1895”.