Segundo a obra de Vázquez Seijas, D. Manuel, 1958 “Fortalezas de Lugo y Provincia”, a primeira referencia histórica sobre o castelo de Vilaxoán aparece a mediados do século XIV, no que se sinala a D. Enrique Enríquez como dono da fortaleza. Sucedeulle a súa filla Dª Leonor Enríquez, casada co seu primo D. Fernando de Castro, ao que lles foron confiscados os seus bens (incluída a torre de Vilaxoán) e entregados aos Andrade. Nos primeiros anos do século XV (con anterioridade ao ano 1423), o castelo foi vendido por D. Juan Freire de Andrade ao Conde D. Fadrique Enríquez de Castro y Castilla (Duque de Arjona), segundo o testamento deste Conde (ano 1425) pasou ao seu primo D. García de Castro e posteriormente a súa irmá Dª. Beatriz de Castro (Condesa de Lemos e Sarria). A mediados do século XV, o Rei D. Juan II de Castela premiou os servizos de Alonso Pérez de Vivero mediante unha real cédula outorgándolle as feiras de San Xoán e San Martín (Viveiro), adquiriu a xurisdición de Galdo e foi señor tamén, do señorío de Vilaxoán. O seu fillo e sucesor, D. Juan de Vivero (I Vizconde de Altamira) mediante cláusula do morgado do seu pai (19 de decembro de 1482) foi señor dos castelos de Vilaxoán e Samarugo, da vila de Viveiro, as freguesías de Galdo e Xuances, Santo Estevo do Vale, San Miguel das Negradas e as Ribeiras do Sor, cos termos, vasalos e xurisdicións. D. Juan de Vivero que defendía a causa dos Reis Católicos, tomou parte activa contra o novo Rei de Castela, D. Enrique IV, o cal, por tal motivo, destituíuno do señorío de Viveiro e investiu no seu lugar ó seu garda e fiel vasalo, o Mariscal Pedro Pardo de Cela. Este Mariscal contou con numerosas rendas e vasalos, sumando ás súas numerosas fortalezas o castelo de Vilaxoán. Entre as principais destacaron as seguintes: Castelo de Alfoz, Frouxeira, Santa Cruz de Castro de Oro, Sobrado de Aguiar, Vilamaior, Mirabeti, Penadreda, etc… e as torres e casas fortes de Samarugo, Barreira, Valmayor, Santa María de Saavedra, Muras, Burgo, Magdalena de Vilalba, Mondoñedo, etc… Trala morte do Rei Enrique IV (1474) e a posterior entrada dos Reis Católicos, o Mariscal D. Pedro Pardo de Cela e o seu fillo foron decapitados na Praza Maior de Mondoñedo o 17 de decembro do ano 1483 baixo a orde de Fernando de Acuña (primeiro Gobernador de Galicia). Tras este suceso, aconsellaron a súa filla Dª Constanza de Castro e o seu marido que se fosen a Vilaxoán (que segundo algúns historiadores, tiveron que asaltalo para despois sublevarse en vinganza contra os Reis Católicos e as pretensións de don Juan de Vivero). Foi por tanto, no castelo de Vilaxoán, onde Dª Constanza de Castro máis o seu marido D. Fernán Ares de Saavedra se fixeron fortes ante o Gobernador de Galicia (D. Diego López de Haro) debido ao axustizamento do Mariscal e pai de Dª Constanza. Segundo o escritor e historiador López Ferreiro, por mor do longo tempo de resistencia no Castelo, a auga do alxibe acabou podrecendo e levando á morte de parte dos sitiados, entre eles, de Dª. Constanza de Castro. Tamén argumenta López Ferreiro, que saíron ilesos do asedio e se renderon finalmente D. Fernán Ares xunto con tres soldados, do que o Gobernador de Galicia lle confiscou todos os bens e condenou a D. Fernán Ares a pena de morte, anque finalmente obtivo a liberdade mais unha parte dos seus bens grazas á mediación de D. Diego de Andrade e D. Álvaro González de Ribadeneira. Finalmente, D. Fernán Ares serviu con lealdade aos Reis Católicos e participou incluso na conquista de Málaga. (*Ver a variante do historiador Vasco de Aponte). O 16 de agosto de 1484, os Reis Católicos segundo carta en Córdoba escrita polo Secretario Álvarez de Toledo e dirixida ao Gobernador de Galicia D. Diego López de Haro, pedía que se procedese á venda dos bens de D. Fernán Ares co fin de sufragar os gastos orixinados no cerco do castelo de Vilaxoán (* ver carta ). O 11 de xuño do ano 1485 procedeuse a lectura da carta da venda dos bens de D. Fernán Ares, na praza das Cortiñas en Lugo polo escribán da Cámara e notario público da Corte D. Alonso Álvaro de Toledo. Nos días sucesivos fixéronse pregóns ata que que o 11 de xullo foron adxudicados os bens a D. Álvaro González de Ribadeneira. O 19 de xuño de 1493, os Reis Católicos ordenaron a devolución da fortaleza de Vilaxoán ó Vizconde de Altamira, considerando que foi secuestrada xunto cos seus bens nos anos oitenta. No ano 1646 aparece como dono do castelo de Vilaxoán D. Álvaro Pérez de Vivero, Conde de Fuensaldaña e Vizconde de Altamira. Posteriormente, no ano 1699, por escritura outorgada en Mondoñedo ante o cóengo da catedral co poder de D. Marcos Fernández Manrique de Lara (Conde de Fuensaldaña e Montehermoso, Vizconde de Altamira, señor das merindades de Vilaxoán e Galdo) aforou a Esteban Douteiro o coto do Mato en San Martiño de Pino (“…por tres vidas de señores reyes de España y 40 años más y por el cánon de seis fanegas de centeno y dos de trigo, varios bienes en dicho coto, entre ellos diez y seis fanegas de monte alrededor de la fortaleza”). No ano 1775 os Condes de Fuensaldaña venderon a D. Gabriel Mª Montenegro (señor do pazo de Caldaloba) as pedras dos refugallos para facer un cárcere, e o 23 de xullo do ano 1851 D. Pascual López Villapol y Benavides (apoderado do Excmo. Señor Nicolás Pérez Osorio Espínola y Benavides, Marqués de Alcañices e Conde de Fuensaldaña) aforou de novo a fortaleza de Vilaxoán xunto coas leiras dos arredores e outras terras a D. Luís Vázquez Rúa na cantidade de 320 reais de vellón. Finalmente, o 5 de xullo de 1857 vendeuse o castelo con porción de curro de pasto do arredor por D. Vicente Cancelo maila súa esposa Dª Josefa de Otero a D. José Díaz (de Vilalba), anque con posteridade a esta data, o 19 de decembro de 1858 adquiriuna en virtude de retracto, o pai de Daniel Vázquez Rúa, cura de Xoibán, deixándolle este en virtude de permuta a súa irmán Dª Antonia . - Vázquez Seijas, D. Manuel, 1958 “Fortalezas de Lugo y Provincia” (TOMO II, TOMO VI).