女儿墙在古代时叫“女墙”，崔豹《古今注》说：“女墙，城上小墙也，亦名‘睥睨’，言于城上窥人也”，包涵着窥视之义，是仿照女子“睥睨”之形态，在城墙上筑起的墙垛，所以后来演变成一种建筑专用术语。
在古诗文中也能经常见到女儿墙的身影，比如刘长卿的《登余干城》“官舍已空秋草没，女墙犹在夜乌啼”，刘禹锡的《石头城》“淮水东边旧时月，夜深还过女墙来”，李贺的《石城晓》“月落大堤上，女垣栖乌起”。那么女儿墙究竟是从何而来呢?
相传，古代有一个砌匠，因为平时很忙，不得不带着年幼的女儿出去做活儿，一日在屋顶砌筑时，小女不慎坠屋身亡。匠人伤心欲绝，为防止悲剧再次发生，匠人在屋顶砌筑一圈矮墙，称作“女儿墙”。
作为城墙结构，女儿墙的作用是防御。而作为中式宅院中的矮墙，女儿墙的作用就显得很浪漫了。明末清初的文学家李渔在《闲情偶记·居室部》中写到：“予以私意释之，此名以内之及肩小墙，……，岂妇人女子之事哉?”按照李渔的书中记载的，“女墙”则是用来防止户内妇人、少女与外界接触的小墙。古时候的女子大多久锁深闺，足不出户。但是小墙高不过肩，既可以欣赏墙外之春光美景，又可以窥探自己意中之人，所以这女儿墙又成就了许多才子佳人的故事。
古往今来，有着数不胜数的关于女儿墙内外的神秘窥望和富有诗意的描述。如：“墙里秋千墙外道，墙外行人墙内佳人笑”、“声渐不闻语渐俏，多情反被无情恼”、“隔墙花影动，疑是玉人来”、“满园春色关不住，一枝红杏出墙来”。可见这种看似死板的建筑形式背后却隐藏着极为丰富的意韵，那就是：不倚短墙，怎知春色含蓄之美?
