老北京的庭院非常重视绿化，规模较大的四合院设计往往还另辟有花园。明代比较有名的私家园林有李园（今清华园的前身）、勺园、定园、梁家园等，这些名噪一时的园林大都以水取胜。
到了清代，随着城市的不断扩张，北京的水源也越来越不足，清朝廷公布了不准民间私引活水造园的规定，故北京清代的私园，除少数王府花园之外，极少凿池引水，再加上北京宅基地相对紧张，私园的规模也比较小。因此，与苏州的私家园林相比，北京的私园无疑是逊色不少。
由于缺乏活水，老北京四合院设计中央，常常摆上一只或数只很大的鱼缸，一是为了观赏，二是能够调节空气，第三还有防火的功能。这是北京四合院设计中非常典型的一景。在较大的私家花园中，偶尔有人工砌成的水池，一般也都是死水，功能和鱼缸差不多，但观赏性无疑提高了许多。
如位于北京东城区帽儿胡同的可园，花园主体的中心便砌有一形态自然的水池，面积虽然不大，但池水蜿蜒通向南边的假山山脚，似有源头活水一般，假山、游廊、亭、桥、花厅皆围绕水池布置，使可园具有了几分江南园林的秀色，成为北京现存私家园林中的佼佼者。
更多的北京庭院、私园则以建筑物和叠石为主题，辅以各种各样的树木、花草、藤蔓。老北京院中最常见的树种有：石榴，春华秋实，既美观又寓意吉祥，是子孙昌盛的象征；海棠，春华秋实，与玉兰共称玉棠富贵；丁香，芬芳馥郁；葡萄，既可遮阳纳凉，又是果品中的美味。以上这些树种树型大都比较美观，高矮适度。
夏天枝繁叶茂，可防止阳光直射室内；秋天果实累累，可以尝鲜；冬天落叶，使室内阳光充足。此外槐树和枣树也是老北京人家常见的树种，不仅因为槐花香、红枣甜，而且还有封侯拜相的美意。
《周礼》中记载有三槐九棘的制度：“掌建邦外朝之法。左九棘，孤卿大夫位焉，群士在其后；右九棘，公侯伯子男位焉，群吏在其后；面三槐，三公位焉，州长众庶在其后。”（注：见：《周礼。朝士》。）也就是说在朝庭中种上左右两列各九棵枣树（古称棘），正面种上三颗槐树，作为公侯将相群吏列位的标志。后人便以棘和槐代指朝廷高位。
如“位极三槐”（注：《陈书。侯安都传》：“位极三槐，任居四岳。”）、“将登槐棘”（注：任ｆǎｎｇ＠①《桓宣城碑》：“将登槐棘，宏振纲网。”）等等。更有人在自家庭院中种上三颗槐树，并预言自己的后人将有位列三公者（注：《宋书。王旦传》：“王旦父祜为兵部侍郎，……手植三槐于庭，曰：”吾之后世必有为三公者，此其所以志也。„“）。
因此，老北京人家槐树几乎是必种的，俗谚曰：”有老槐，必有老宅。“由于槐树树型过于高大，大都种在外庭或大门之外。北京的枣树以郎家园产的最为有名，是贡果，这两年开始有人开发这一品种，一斤郎枣要卖到二三十元。至于草花，常见的有草茉莉、凤仙花、牵牛花、扁豆花、串红等。
但是老北京的庭院绿化也有些忌讳，老北京人从不将松树、柏树、桑树、梨树种进四合院，因为松柏是阴宅种的树，桑与”丧“同音，而梨则意味着分离。解放以后，破除迷信，许多宅院也引种了松柏，虽然四季常青，但冬日遮挡室内阳光，实非上佳选择。
