在中国，钉子出现的历史十分久远。“钉”先以“丁”字出现，甲骨文、金文中就已有“小方块”和“小圆点”形的“丁”字，看上去像今天钉子上的钉帽。在小篆中，“丁”的字形看上去与今天的钉子侧影非常相似，上部是弧形的钉帽，下部是细尖的钉尖。
专家们推测认为，最早的“丁”字可能来源于竹质的楔子，后来代指人或象征天干。随着社会生产的发展，金字旁的“钉”字才出现。成语“丁一卯二”中的“丁”就指钉子，“卯”则指榫头，意思为丁卯合位、一丝不差，形容确实和牢靠。除此之外，“抽丁拔楔”“斩钉截铁”“板上钉钉”等成语也来自中国古人使用钉子的实际感受。
钉子是由中国先民率先发明还是从外部旅行而来，目前学界并没有一致的观点，但不知道从什么时候开始，中国人不使用钉子，尤其是“中国古建筑不用一根钉子”的说法四处流布。持这一观点的人言之凿凿，称中国古建筑因有独创的榫卯结构而无需钉子。
事实上，从历史发展的脉络来看，钉子从未在中国建筑中缺席，而且榫卯结构也并非中国独有。英国牛津大学查尔斯·辛革主编的科普巨著《技术史》中记述，从埃及金字塔到巴比伦空中花园，从罗马斗兽场到希腊古神庙，东西方的先民不约而同地使用了榫卯和钉子两种方式来固定部件。对此，北京大学文博考古学院的张剑葳教授也指出，中国古建筑不使用钉子是一种误解，而且“古建筑的各个连接处离不开铁钉的使用”。
当然，中国古建筑使用钉子的相关记载也屡见于史册。东魏杨衒之在《洛阳伽蓝记》“永宁寺”篇中就提到了寺庙大门上的钉子：“浮图有四面，面有三户六窗，户皆朱漆。扉上有五行金钉，合有五千四百枚。”唐代杜牧在《阿房宫赋》中说，阿房宫屋顶梁柱上的钉头光彩耀目，比粮仓里的粟粒还多，所谓“钉头磷磷，多于在庾之粟粒”。到了宋代，李诫在建筑学巨著《营造法式》一书中详细介绍了椽钉、角梁钉、飞子钉、大小连檐钉、白版钉等不同的钉子，以及它们在建筑中的使用方法和规制要求。
