阜阳市历史悠久，人文蔚盛。历史上以颍州（今阜阳市区）为中心的南部开发较早。西周以后，在今阜阳境内即建立了妫姓的胡子国，临泉境内的沈子国，颍上境内的慎等。
春秋战国时，又出现了太和原墙的原阳，倪邱的新，临泉的寝等县邑。由此地域概念逐渐形成。秦代始置汝阴县，汉属汝南郡。三国魏置汝阴郡。北魏孝昌四年（公元528年）置颍州 ，隋设汝阴郡，唐设颍州，宋设顺昌府，元属汝宁府，明属凤阳府。明代洪武六年（公元1373年），颍、亳二州首次并为统一版图。弘治九年（公元1496年）亳县复升为州，分出。
清雍正二年（1724年）升颍州为直隶州。雍正十三年（1735年）升颍州为颍州府，并以颍州本辖新置附郭县，乾隆皇帝依奏赐名阜阳县 。颍州府不仅包括今阜阳市、亳州市全境，而且含今六安市霍丘县的大部分地界。
民国38年（1949年）2月，撤亳州市，并入亳县。同年3月，撤阜阳市，并入阜阳县。至中华人民共和国建立时，阜阳地区有界首市、亳县、太和县、阜阳县、涡阳县、蒙城县、颍上县、阜南县、临泉县和凤台县。县、市以下划分区（镇）。区以下划分乡（镇）。乡（镇）以下为行政村。中华人民共和国成立后，设立阜阳地区专员公署，下辖八县一个行政办事处。
1998年2月，亳州市从阜阳市划出，由省直辖。
2000年5月，国务院批准设立地级亳州市、涡阳、蒙城、利辛三县划归亳州市管辖。目前，阜阳市辖界首市和太和、临泉、颍上、阜南四县及颍州、颍泉、颍东三区。
1953年9月，界首市撤销，建界首县。阜阳地区其它县区划未变。
1958年11月，界首县与太和县合并为首太县。阜阳地区其它各县区划不变，但县以下区（镇）、乡（镇）统统撤销，建立人民公社，公社以下划分生产大队，大队以下划分生产队。
1959年5月，首太县撤销，复分为界首县、太和县。
1961年至1962年，阜阳地区各县划小公社，公社之上建区，公社以下仍划分生产大队，大队以下划分生产队。
1964年10月，建立利辛县。其辖地包括由阜阳县划出的4个区，由蒙城县划出的1个区，由涡阳县划出的3个区和由凤台县划出的2个区。
1965年，阜阳县城关镇改建为阜城镇，县级，直属阜阳专署，其辖区为原阜阳县城的4个人民公社。
1969年，各县撤区并社。
1975年12月，建立阜阳市。其辖区除原阜城镇所属的4个人民公社外，又将阜阳县的水上公社和阜阳县新华区的3个大队划入。
1977年1月，凤台县从阜阳地区划出，归属淮南市。
1979年，各县、市再次划小公社，社上建区。
1983年，全地区各县市撤销人民公社、生产大队、生产队建置，人民公社改建为乡（镇）政府，生产大队改建为村民委员会，生产队改为村民小组。
1985年，阜阳地区辖有阜阳市、亳县、阜阳县、涡阳县、蒙城县、利辛县、太和县、颍上县、阜南县、临泉县、界首县，共1市10县。全地区共有125个区、11个区级镇、658个乡、33个乡级镇、15个办事处、6647个村民委员会、139个城镇居民委员会、40941个村民小组。
