中国历代政府在台湾先后建立了行政机构，行使管辖权。早在公元十二世纪中叶，宋朝政府即已派兵驻守澎湖，将澎湖地区划归福建泉州晋江县管辖。元朝政府在澎湖设置行政管理机构“巡检司”。明朝政府於十六世纪中后期，恢复了一度废止的“巡检司”，并为防御外敌侵犯，增兵澎湖。一六六二年(清康熙元年)，
郑成功在台湾设“承天府”。清朝政府逐步在台湾扩增行政机构，加强了对台湾的治理。一六八四年(清康熙二十三年)设“分巡台厦兵备道”及“台湾府”，下设“台湾”(今台南)、“凤山”(今高雄)、“诸罗”(今嘉义)三县，隶属福建省管辖。一七一四年(清康熙五十三年)，
清政府派员测绘台湾地图，勘丈全境里数。一七二一年(清康熙六十年)，增设“巡视台湾监察御史”，改“分巡台厦兵备道”为“分巡台厦道”。尔后又增设“彰化县”和“淡水厅”。一七二七年(清雍正五年)，复改“分巡台厦道”为“分巡台湾道”(后又改为“分巡台湾兵备道”)，增“澎湖厅”，定“台湾”为官方统一的名称。一八七五年(清光绪元年)，清政府为进一步经营和治理台湾，再增设“台北府”及“淡水”、“新竹”、“宜兰”三县和“基隆厅”。
据古文献记载，中国大陆军民东渡台湾，垦拓、经营
台湾岛，最早可追溯到1700多年前的三国时代。公元230年（三国吴黄龙二年），吴主孙权曾派将军卫温、诸葛直率领1万水军渡海到达台湾。这是中国大陆居民利用先进的文化知识开发台湾的开始。吴人沈莹所著《临海水土志》中，就曾详细记载了当时台湾的生产和生活形态。到了6世纪末、7世纪初的隋代，大陆和台湾的接触增多。据载
隋炀帝曾3次派人到台湾，“访察异俗”，“慰抚”当地居民。是时，大陆和台湾已有贸易往来。此后由唐到宋的600年间，大陆沿海人民，特别是福建泉州、漳州一带居民，为了躲避战乱兵祸，纷纷流入澎湖或迁至台湾，从事垦拓。至
南宋时，澎湖划归福建泉州晋江县管辖，并派有军民屯戍。大陆和台湾之间在经济、元代进一步加强了对台湾的管理。公元1292年（至元二十九年），元世祖忽必烈派海船副万户杨祥、礼部员外郎吴志斗和珍部员外郎阮监到台湾“宣抚”。公元1335年（后至元一年），元朝正式在澎湖设“巡检司”，管辖澎湖、台湾民政，隶属福建泉州同安县（今厦门）。中国在台湾设立专门政权机构，也自此开始。
明朝以后，大陆与台湾的人民往来不绝。公元1402—1424年（
明成祖永乐年间），航海家“三宝太监”郑和率领庞大的舰队访问南洋各国，曾在台湾停留，给当地居民带去工艺品和农产品。至今民间传说高雄凤山的特产“三宝姜”，就是郑和遗留下来的。15世纪以后，倭寇不断骚扰中国东南沿海地区，明朝政府在澎湖增设“游击”，“春秋汛守”；同时在基隆、淡水二港驻屯军队。
到17世纪20年代的明朝末叶，大陆居民开始大规模移居台湾，给台湾的社会经济和文化的发展以极大的推动。其时，福建人颜思齐、郑芝龙为抗拒官府欺压，率领闽粤居民迁居台湾，一面从事农耕、贸易，一面组织武装力量抗御倭寇和荷兰人的侵扰。公元1628年（明崇祯元年），时值福建大旱，百姓无以为生，郑芝龙（后官至都督同知）组织灾民数万到台湾，“使垦荒食力”，各地逐渐形成了许多村落。台湾自此进入了大规模的开发时期。 政治、文化等方面的联系日渐频繁。
1684年，清政府设置分巡台厦兵备道及台湾府，隶属于福建省。至1811年，台湾人口已达190万，其中多数是来自福建、广东的移民。移民大量开垦荒地，使台湾成为一个新兴的农业区域，并向大陆提供大量稻米和蔗糖，由大陆输入的日用消费品和建筑材料等，使台湾的经济得到相当程度的发展。这个时期，台湾与福建、广东的来往十分密切，中华文化更加全面地传入台湾。
由于西方列强向中国边疆侵逼，中国出现了边疆危机。1884—1885年中法战争期间，法军进攻台湾，遭刘铭传率军重创，到1885年6月
《中法新约》签定，法军被迫撤出台湾。
中法战争以后，清政府为了加强海防，于1885年将台湾划为单一行省，台湾成为中国第20个行省。首任
台湾省巡抚刘铭传积极推行自强新政，清理田赋，增加财政收入，购买轮船，架设电报线，设立邮电总局，建造铁路；购买军舰，增设炮台，设立机器局自造武器；成立煤务局，安装新式采煤机器；设立兴市公司，建街造路；创立西学堂、电报学堂，培养建设人才。刘铭传把众多新式事业集中于一省，使台湾成为当时中国的先进省份之一。
1894年日本发动
甲午战争，翌年清政府战败，于4月17日被迫签订丧权辱国的《
马关条约》，把台湾割让给日本。消息传出后，举国同愤，反对割台；台湾全省“哭声震天”，鸣锣罢市。协理台湾军务的清军将领刘永福等率军民反抗日本的侵占，坚持了5个多月的战斗，历经大小百余仗，使日本侵略者付出了惨重的代价，但终遭失败。从此，台湾沦为日本的殖民地达50年之久。
台湾人民从未屈服日本的殖民统治，在日据初期，以农民为主体的抗日武装进行了长达20年的斗争。后来，文化协会、民众党、共产党等还组织领导了反抗日本殖民统治的民族抵抗运动。
1937年7月日本制造“
七七事变“，中国人民开始了全民族的
抗日战争。在抗日战争时期，不少台湾同胞回到祖国参加抗战，为抗日战争的胜利和台湾的光复作出了贡献。1941年12月太平洋战争爆发后，12月9日，中国政府发出《中国对日宣战布告》，明确昭告中外：“所有一切条约、协定、合同，有涉及中日之间关系者，一律废止。”
1945年8月，日本在
第二次世界大战中战败，8月15日宣布无条件投降。中国人民经过8年英勇的抗日战争，终于收复了台湾。台湾同胞欢天喜地，庆祝回归祖国。10月25日，同盟国中国战区台湾省受降仪式于台北举行，受降主官代表中国政府宣告：自即日起，台湾及
澎湖列岛已正式重入中国版图，所有一切土地、人民、政事皆已置于中国主权之下。至此，台湾、澎湖重归中国主权管辖之下。