四合院庭院中往往会注重绿化，甚至豪华些的四合院还会制造水景，而对于水景来说，假山是必不可少的。现代四合院园林设计，如果涉及到水景的应用，往往也会在周围加上假山，让庭院更具有立体感。
假山很早之前就应用于园林设计中。西周时的灵囿中已有假山，“囿”是供天子诸侯游憩消遣的园林建筑，这是中国历史上记载最早的假山。秦汉时囿的面积发展到几百里，从“筑土为山”到“构石为山”。秦始皇建阿房宫，征发“罪人”70万，他追求仙丹仙境，以求长生不老，仿造太液池。西汉时，有帝王在长安西郊建章宫太液池，筑有蓬莱、方丈、瀛洲等仙山。此后“一池三山”成了后代帝王御苑的滥觞，同时也开创了中国造园史上堆叠假山的先河。东汉以后，三国鼎立，战乱频繁，士大夫阶层为了避乱，仿效前人仙山实景营造“第二自然”——城市山林，民间造园风气渐盛。
假山被知识分子赋予文化内涵大概是在唐代，当时山水文学艺术发达，许多文人官僚凭借他们对风景园林的规划，便出现了“文人园林”，出现了专门堆筑假山的能工巧匠。他们开始简单地仿照自然景观，后来又把各地山水的特点结合在一起，成为微缩景观。只要一进园子，就能把各地山水赏个遍。过去交通不发达，出个门舟车劳顿，这可省了跑腿了。大诗人王维是山西人，他在《山水诀》中有“平夷顶尖者巅，峭峻相连者岭，有穴者岫，峭壁者崖，悬石者岩，形圆者峦，路迫者川，二山夹道名曰壑”，这是对各种造型山姿的描述。
到宋代，文人的社会地位继续提高，知识分子陡增，民间的士流园林更进一步文人化，又促成了“文人园林”的兴起。从宋徽宗创建的庆寿之山“艮岳”中，就能认识到假山的火爆程度。政和七年(1117年)，宋徽宗在汴京开始修建艮岳，历时6年。其间，命大臣朱勔用“花石纲”的名义搜罗江南奇花异石运往都城。这使得民间宅园赏石造山形成了攀比之风。而造假山的手艺人地位也随之变化了，被称为“山匠”“花园子”。
明清两朝，皇家在宋代的基础上继续打造大型皇家园林，假山的规模继续扩大。民间凡是有几间豪宅的，都能看到假山的影子。
