黄山经历了漫长的造山运动和地壳抬升，以及冰川和自然风化作用，才形成其特有的峰林结构。黄山群峰林立，七十二峰素有“三十六大峰，三十六小峰”之称，主峰莲花峰海拔高达1864.8米，与平旷的光明顶、险峻的天都峰（天都峰海拔1810米，与光明顶、莲花峰并称三大黄山主峰，为36大峰之一）一起，雄踞在景区中心，周围还有77座千米以上的山峰，群峰叠翠，有机地组合成一幅有节奏旋律的、波澜壮阔、气势磅礴、令人叹为观止的立体画面。
黄山山体主要由燕山期花岗岩构成，垂直节理发育，侵蚀切割强烈，断裂和裂隙纵横交错，长期受水溶蚀，形成瑰丽多姿的花岗岩洞穴与孔道，使之重岭峡谷，关口处处，全山有岭30处、岩22处、洞7处、关2处。前山岩体节理稀疏，岩石多球状风化，山体浑厚壮观；后山岩体节理密集，多是垂直状风化，山体峻峭，形成了“前山雄伟，后山秀丽”的地貌特征。
在第四纪时期，黄山曾先后发生了三次冰期，冰川的搬运、刨蚀和侵蚀作用，在花岗岩体上留下了很多冰川遗迹，形成了遍布黄山的冰川地貌景观。再加上出露地表以后，受到大自然千百万年的天然雕琢，终于形成了今天这样气势磅礴、雄伟壮丽的自然奇观。