Las obras se iniciaron en 1767 y se alargaron en el tiempo hasta 1785. Guilbert fue despedido en 1771, acusado de deficiencias constructivas y sospechas de desviar fondos destinados al palacio a sus propios bolsillos. Los trabajos tuvieron que ser culminados por Ventura Rodríguez, que rectificó los errores técnicos que había cometido el francés. Sin embargo, la genialidad de Guilbert fue otra, según recoge el libro Secretos de Madrid. Para averiguar lo «sanos» y «saludables» que eran los terrenos que había seleccionado, repartió trozos de carne por distintos puntos del barrio de los Afligidos (nombre que recibía la zona en la época).

Guilbert dejó pasar varias semanas para ver en qué estado se encontraban. La mayoría de los trozos estaban ya en avanzado estado de putrefacción. Sin embargo, el trozo que había colocado en la actual calle Princesa, era el que menos se había alterado. Los aires frescos del norte lo habían conservado mejor. Así fue como un simple trozo de carne determinó dónde levantar el Palacio de Liria.