1953年12月，梅山水库工程指挥部成立，紧随其后的3月，工程正式动工。1956年4月，除遂洞工程外，主体工程基本竣工。参与建设的工人大多来自佛子岭水库，高峰期工地人数达到2.5万人。整个工程耗资巨大，总投资为9268万元，包括50万立方米的土方、1.2万立方米的石方以及35.2万立方米的混凝土的使用。
梅山水库于1954年6月启动建设，至1956年4月建成，它与同期的五座大中型水库共同构成了闻名全国的大别山五大水库体系，这些水库均位于淮河上游的腹地。这些水库的修建源于解放初期淮河的恶劣影响，人们有句俗话：“走千走万，不走淮河两岸”，反映了沿岸人民生活的艰难。1951年5月15日，毛泽东同志发出了“一定要把淮河修好”的号召，周恩来总理亲自领导了梅山水库的工作会议，决定在淮河上游建设水库。响洪甸水库、梅山水库、磨子潭水库、佛子岭水库和龙河口水库这五座水库如璀璨明珠般在崇山峻岭间崛起。
在50年代，梅山水库以其443.5米的连拱型大坝，成为了世界上最高的此类建筑。这一时期的领导人如邓小平同志曾亲临视察，70年代联合国大坝委员会主席托兰和列宁勒水电设计院院长也对这座连拱坝赞叹不已，他们认为“连拱坝好，中国人民了不起”。这座连拱坝由15个连拱和16个垛构成，连拱坝全长311.5米，是那个时代的建设成就的象征。
梅山水库位于鄂、豫、皖三省交界处的大别山腹地、淮河支流史河上游，坐落于有“红军故乡、将军摇篮”之誉的安徽省金寨县县城南端。它位于史河上游，坝址在安徽省金寨县梅山镇大小梅山之间。