1960年代，南京长江大桥开始建设，原来在长江两边、连接津浦铁路和沪宁铁路的浦口火车站（今南京北站）、原南京站（今南京西站）因无法直接连接大桥，所以南京计划兴建新的火车站，将原和平门车站扩建为南京火车站。
1964年提出了初步设计，要与大桥相匹配，并以紫金山和玄武湖作映衬，车站讲究气派。但1960年代末中国财政紧缺，至1967年临时变更方案，尽量简化设计。
1968年10月，新南京站与南京长江大桥同时开通启用。
1999年11月12日凌晨1时10分，南京站候车室茶座区由于电线老化短路起火，火势迅速蔓延至整个候车室，南京市消防部门出动了30辆消防车进行救援，大火于2时15分被扑灭。大火导致南京站候车室被烧毁，1841平方米的房顶坍塌。虽然后来又在站前广场搭建了临时候车室，但由于南京站客流相当高，因此狭窄的临时候车室仍难以满足需求。
2000年10月13日，时任铁道部部长傅志寰宣布南京火车站新站房建设正式提上日程。
2001年9月18日，中国第一台台实时查询、预售客票的铁路无人自动售票机在南京站投入使用。根据触摸屏的提示即可查询并预售当日起四日内由南京站发车的部分线路车票。
2002年6月，临时候车室才被搬迁到车站西侧200米外的新建的南京站行李包裹处理中心的大厦中，其中售票厅在二楼，候车室在三楼，由于该建筑并非专用的铁路客运站房，所以设施不很完备，空间比较狭小。在往后的数年内有不少南京市民都对南京站迟迟未进行站房重建感到不满。
2002年6月18日，南京火车站改建工程动工，由铁道部、江苏省、南京市三方共同投资在原址改建，新站房改建工程总投资额达3.5亿元人民币，也是在南京举办的十运会的重点工程项目。新站房外型采用法国AREP公司的帆船设计造型方案，而内部采用铁道第四勘察设计院的设计方案，站房采用玻璃幕墙，令人在站内即可看见玄武湖，面积则是原来站房的6倍。客流高峰期每小时可容纳1万名旅客候车，比原站候车能力增加4倍。
2005年3月17日零时起，南京站站场改造工程展开，由8股道增建为10股道，站台也由3座增建为4座，所有站台改建成高站台，并新建面积5万平方米无柱雨棚，和2座天桥和1条地道。同时南京站部分运输工作向南京西站和中华门站分流。
2005年8月12日，南京地铁1号线南京站开通试运营。
2005年9月1日，改建后的南京站开始进行为期20天的试营运，候车大厅和站前广场通过了验收。同年9月21日正式营运，49趟原在南京西站、中华门站到发的列车改在南京站始发。
2009年底，南京站开始进行北扩工程，作为沪宁城际铁路始发站使用。
2010年7月1日，沪宁城际高铁开通而投入使用。
2010年11月，南京站北广场工程开工，计划于2014年南京青奥会前投入使用。
2014年8月8日，南京站北站房工程竣工启用，进站天桥与南站房对接；同日，位于南京站北广场的南京汽车客运站同步通车运营，南京地铁1号线北站厅重新装修启用，地铁新开放2号出口。
