四合院中的山墙名称的由来，是因为其房屋建筑的左右两边之墙的上端与前后屋顶间的斜坡，形成一个三角形，似古体“山”字，故称“山墙”。
山墙有三种形制，分别是人字形、锅耳形和波浪形，其中人字形最为普遍，是四合院建筑最常使用的山墙形式，锅耳形在民宅中运用较少，基本上都是用在祠堂上，而波浪形基本上不会用在民居建筑上。
四合院山墙的分类，可以分为内山墙、外山墙与排山墙也叫排山。假如你在乡下你可以知道内山墙是指每个房间与房间之间的墙，它一般与前后墙成丁字形;外山墙是指在外面能看到的墙但前后墙不算，如：一房屋是门朝南，则东西那两面墙就叫外山墙;排山墙就是老式房子，房间与房间是用木头或水泥柱立起来，再用砖进行砌筑起来的那就叫排山墙。山墙之间距离较短，比纵墙适合做为承重墙。
有些地区依照山墙顶端的形状，将山墙分为五行山墙。“金”的山墙则有一个大弧，“木”的山墙特征是弧线窄而高，“水”的山墙顶端则由三到五个弧线组成，“火”的山墙形状则带有锐角，“土”的山墙则有平整的顶端。
四合院山墙的作用主要是与邻居的住宅隔开和防火。谚语说“山墙扒门必定伤人”，这是因为中国传统硬山式住宅的主梁搭在山墙上的，而山墙常是承重墙，如果在墙上开门会使墙的承重能力下降，主梁有跌落的危险。
