Este pazo de estilo barroco del siglo XVII fue casa de los Taboada, uno de los linajes más importantes de Galicia.
Estuvo habitado hasta principios del siglo XX, pero su época de mayor esplendor fue en el siglo XIX, cuando personas destacadas de la época pasaban temporadas en él. Ramón Cabanillas, Otero Pedrayo o Emilia Pardo Bazán introducen el Pazo en la literatura. En este pazo nació y fue bautizado Joaquín Loriga Taboada.
En los años 20 del siglo pasado el último representante de la familia Taboada tiene que abandonar el pazo y mudarse a Santiago. A partir de aquí comienza un proceso de cambio de propietarios que desemboca en el paulatino deterioro de la construcción. En el año 2002 es comprado por el Ayuntamiento de Lalín con la intención de salvarlo de la ruina y preservarlo como referencia histórica de la comarca. En 2009 es declarado BIC (Bien de Interés Cultural), en la categoría de monumento histórico. En el año 2011, comienzan las obras de restauración en colaboración con el Ministerio de Fomento, la Concejalía de Cultura y la Diputación de Pontevedra. La inauguración oficial del pazo para el disfrute público tiene lugar a finales del año 2014 con su puesta en valor como contenedor cultural y referencia arquitectónica de la comarca del Deza.
El conjunto actual del pazo, está compuesto por el edificio principal y dos conjuntos anexos, la capilla y el taller por un lado y el horno y el cobertizo por otro, rodeado por un muro circundante de piedra.
En el edificio principal cabe destacar la belleza de la balconada en la fachada posterior, la cocina en el interior y los escudos de armas de los Churruchaos, López de Lemos y de los Taboada en la fachada principal.
Acoge el Centro de Gestión del Conocimiento Arqueológico, vinculado al Museo Provincial de Pontevedra, que cuenta entre otras con área de exposición de los hallazgos y laboratorio de tratamiento y catalogación de los mismos.
El Museo del Juguete y la Marioneta ocupa dos salas en la planta inferior, dos en el entresuelo y varias en el primer piso, con exposición de miles de piezas de juguetes de distintas épocas, marionetas de diferentes lugares del mundo, cabezudos y no podía faltar un pequeño homenaje a José Silvent "Barriga Verde" quien recorrió Galicia con sus espectáculos en el siglo pasado.
Alberga la Sala Loriga, que es un espacio dedicado a la memoria del hijo ilustre Joaquín Loriga Taboada, nacido en este mismo Pazo y gran referente de la aviación española, uno de los hitos más importantes de su trayectoria es el raid Madrid - Manila en el 1926 junto con Esteve y Gallarza formando la Patrulla Elcano.
Además existen espacios multifuncionales, como el antiguo salón noble, en el que destacan las restauradas pinturas y los blasones del techo, y donde se llevan a cabo distintos eventos culturales como actuaciones musicales y teatrales, conferencias, exposiciones temporales, etc.
