Pazo de estilo barroco do século XVII. Foi casa dos Taboada, unha das liñaxes máis importantes de Galicia.
Estivo habitado ata principios do século XX, pero a súa época de maior esplendor foi no século XIX, cando persoas senlleiras da época pasan tempadas nel. Ramón Cabanillas, Otero Pedrayo ou Emilia Pardo Bazán introducen o Pazo na literatura. Neste pazo naceu e foi bautizado Joaquín Loriga Taboada, quen no 1926 formou parte do raid aéreo Madrid – Manila, o que representou un fito na historia da aviación.
Nos anos 20 do século pasado o derradeiro representante da familia Taboada ten que abandonar o pazo e mudarse a Santiago. A partir de aquí comeza un proceso de cambio de propietarios que desemboca no paulatino deterioro da construción. No ano 2002 é comprado polo Concello de Lalín coa intención de salvalo da ruína e preservalo como referencia histórica da comarca. En 2009 é declarado BIC (Ben de Interés Cultural), na categoría de monumento histórico. No ano 2011, comezan as obras de restauración en colaboración co Ministerio de Fomento, a Consellería de Cultura e a Deputación de Pontevedra. A inauguración oficial do pazo para o desfrute público ten lugar a finais do ano 2014 coa súa posta en valor como contedor cultural e referencia arquitectónica da comarca de Deza.
O conxunto actual do pazo, está composto polo edificio principal e dous conxuntos anexos, a capela e o obradoiro por un lado e o forno e o alpendre por outro, rodeado por un muro circundante de pedra.
No edificio principal cabe destacar a beleza da solaina na fachada posterior, a lareira no interior e os escudos de armas dos Churruchaos, López de Lemos, Mosquera e Taboada na fachada principal.
Na planta inferior acolle o Centro de Xestión do Coñecemento Arqueolóxico, vinculado ao Museo Provincial de Pontevedra, que conta entre outras con área de exposición dos achados e laboratorio de tratamento e catalogación dos mesmos.
O Museo do Xoguete e a Marioneta ocupa dúas salas na planta inferior, dúas na entreplanta e varias no primeiro andar, con exposición de miles de pezas de xoguetes de distintas épocas, marionetas de diferentes lugares do mundo, cabezudos e non podía faltar unha pequena homenaxe a José Silvent "Barriga Verde" quen percorreu Galicia cos seus espectáculos no século pasado.
Tamén na planta superior pode visitarse a Sala Loriga, espazo adicado á memoria do fillo ilustre Joaquín Loriga Taboada, nado neste mesmo Pazo e gran referente da aviación española, un dos fitos máis importantes da súa traxectoria é o voo Madrid - Manila no 1926 xunto con Esteve e Gallarza formando a Patrulla Elcano.
Ademáis existen espazos multifuncionais, como o antigo salón nobre, no que campan as restauradas pinturas e os blasóns do teito, e onde se levan a cabo distintos eventos culturais como actuacións musicais e teatrais, conferencias, exposicións temporais, etc.
