咸丰十年（1860），英法联军火烧圆明园，圆明三园被抢被烧，大量建筑被烧毁，花草树木也遭到严重损害，但这场 “火劫” 却只是这座名园灾难的开端。1900 年，八国联军占领北京期间，圆明园里的太监勾结老百姓、土匪、地痞趁机拆除尚未被毁坏的建筑木料，砍伐大量古树，甚至把它们烧成木炭拿出去卖，但此时圆明园的山形水系仍然没有遭到破坏。1904 年，圆明园总管机构裁撤，残存构件遭到进一步盗抢。到北洋军阀时期，各类军阀、官僚、政客乘机对西洋楼的石料强取豪夺，甚至连周边的老百姓也大量肆意取用圆明园及西洋楼的石料。因此，西洋楼的石刻文物被拆运到各地，甚至流落海外。与此同时，从民国开始，很多农民为了发展生产、建造房屋，纷纷挖山取土。到二十世纪八十年代初，园内有民房、学校、耕地、工厂、打靶场，整个圆明园的山形水系均被破坏。经历了这几次劫难的圆明园和西洋楼逐渐沦为一片废墟。无序才是破坏的开始，对于建筑亦或是社会秩序，均是如此