周敬王三十四年(公元前486年)，当时统治长江下游一带的吴王夫差，为了北上伐齐，争夺中原霸主地位，调集民夫利用长江三角洲的天然河湖港汊，疏通了由今苏州经无锡至常州北入长江到扬州的“古故水道”，并开挖自今扬州到江水，东北通过射阳湖，再向西北至淮安入淮河（即今里运河），因途经邗城，故得名“邗沟”，全长170公里，把长江水引入淮河，成为大运河最早修建的一段。后来秦、汉、魏、晋和南北朝继续施工延伸河道。
隋朝统一全国后，隋文帝先在汉长安城的东南龙首原建大兴城作为都城，为供京师所需，于开皇三年（公元583年）即令西自蒲（今山西永济）、陕（今河南陕县），东至卫、汴（今河南开封）等13州募置运米丁，并在卫、洛（今河南洛阳）、陕、华（今陕西华阴）4州设置官仓，漕运关东及晋之粟以给京师。第二年，命宇文恺主持修建了一条300里的广通渠，从大兴城东引渭河水到达潼关，与黄河连接起来，用以漕运关东的粮食。开皇七年（公元587年），为准备灭陈，又派梁睿沿春秋时吴王夫差所开挖的邗沟故道，开挖山阳渎，自山阳（今江苏淮安）引淮水，经江都至扬子（今江苏仪征）入长江，用以向南方运兵、运粮。
隋炀帝即位后，对定都大兴并不满意。因为一来大兴距离关东和江南地区较远，不便于朝廷对关东和江南的控制，二来随着中央政府机构的逐步完善，大兴的人口不断膨胀，光靠关中的粮食和物资已不能满足需要，而江南地区由于在南朝时无大战乱，社会比较安定，农业和手工业获得很大发展，已成为财富集中的地区，但从那里调运粮食和物资到达京师，路途又过于遥远，漕运不便。于是便在道里适中的洛阳营建东都，并着手修建大运河，以便漕运黄河下游和江、淮地区的物资以给东都，并加强对黄河下游及江南地区的控制。
大业元年（公元605年）征调江南、淮北100多万民工修建通济渠（汴渠），从洛阳西苑引谷、洛二水到达黄河，再从板渚（今河南荥阳东北）引黄河水入汴水，复自大梁东面引汴水入泗水，最后到达淮水。同年，又征发淮南十几万民工，用半年时间，对隋文帝时开挖的山阳渎进行疏通、扩大。大业四年（公元608年），征发河北100多万民工，修建永济渠，引沁水南达黄河，北到涿郡（今北京）。这就是洛阳到北京的北段大运河。因炀帝亲自巡幸，故名御河。大业六年（公元610年），又在长江以南开挖江南运河，从京口（今江苏镇江）引长江水到达余杭（今浙江杭州）。至此，贯通南北、以洛阳为中心、南通杭州、北通北京的大运河凿通，全长2700多公里。
在唐、宋两代对隋运河继续进行疏浚整修。唐时浚河培堤筑岸，以利漕运纤挽。将自晋以来在运河上兴建的通航堰埭，相继改建为既能调节运河通航水深，又能使漕船往返通过的单插板门船闸。宋时将运河土岸改建为石驳岸纤道，并改单插板门船闸为有上下闸门的复式插板门船闸（现代船闸的雏型），使船舶能安全过闸。运河的通过能力也得到了提高。北宋元丰二年（公元1079年），为解决汴河（通济渠）引黄河水所引起的淤积问题，进行了清汴工程,开渠50里,直接引伊洛水入汴河，不再与黄河相连。这一工程兼有引水、蓄水、排泄、治理等多方面的作用
至元十二年（公元1275年），元世祖忽必烈特命主管水利工程的都水少监郭守敬前往河北、河南、山东进行调查，查勘一条新的山东运河路线。郭守敬经实地调查和勘察，把山东运河路线定在泗水、汶水与御河之间。
至元十三年（公元1276年），由兵部尚书奥鲁赤主持，引汶、泗水自任城（今山东济宁）开济州河，北至须城（今山东东平）安山（今梁山县小安山），长75公里，至元二十年（公元1283年）竣工。济州河开通后，江南粮船可直接涉江入淮，经泗水达济宁，循济州河到东平转入济水（大清河），由利津入海到天津，经潞河北上北京。三年后，因入海口沙壅而漕运转海受阻，又不得不从东阿舍舟陆运，经二百余里抵临清入御河水运至北京。
至元二十五年（公元1288年），平章政事桑哥，根据漕运副使马之贞的计划奏清开挖安山至临清渠，元世祖准奏，次年正月兴工，征丁夫3万，由断事官忙速儿、礼部尚书张孔孙、兵部尚书李处巽和马之贞等主持，至六月告成，元世祖忽必烈亲赐名为“会通河”。会通河自安山接济州河开渠，引汶水向西北经由寿张（今梁山县寿张集）东，转向北经沙湾、张秋至东昌（今山东聊城），又转向西北到临清，与御河相接，长125公里。
至元二十八年（公元1291年）又命郭守敬开凿通惠河，自通州（今北京通县）直达大都（今北京）城内的积水潭，全长80公里。这样，由大都向南，跨过黄河、淮河、长江到达江南杭州的京杭运河贯通，全长1794公里。