至1969年，大连机车车辆工厂为庆祝中华人民共和国二十周年国庆，对原有的设计方案进行了局部修改，并将1966年至1967年间试制的第一套柴油机、电机机组样机安装在机车上，研制成第一台东风4型柴油机车，车号2001。机车出厂后在沈大铁路进行牵引试验，但由于机车为“国庆献礼”草率上马，其零部件未经必要的试验考核和改进，柴油机和电气部分以及机车其它一些装置都未达到设计要求，导致整台机车的性能和质量未能过关，此后大连厂针对暴露的问题，对柴油机进行一系列改进，而田心电力机车工厂、株洲电力机车研究所、永济电机厂、大连热力机车研究所也联合对原有的牵引电机组进行改进。1972年，东风4型2001号机车配属北京铁路局北京内燃机务段开始进行运用考核。1973年，大连厂又试制了2002号机车，同样配属北京内燃机务段试用，完成京包铁路、京广铁路的牵引试验后，被安排在京山铁路牵引旅客列车。与此同时，面对东风4型机车迟迟未能定型、柴油机车产能不足的情况，铁道部决定从法国阿尔斯通公司进口一批代表着当时世界第二代电传动柴油机车最高水平的ND4型柴油机车作为过渡。
1974年，大连厂试制了东风4型0001号货运机车，交付北京铁路局丰台机务段运用，并于同年8月至9月间赴湘黔铁路进行高温冷却试验、改装客运转向架后在京广铁路进行动力学性能试验，最高试验速度达130公里/小时。试验完毕后，同年年底大连厂正式开始批量生产东风4型柴油机车，同时停产东风3型机车。1975年2月，《中国新闻报》和香港《大公报》均以《4000马力内燃机车诞生记》为题对东风4型机车的研制作了长篇报道。惟东风4型机车在零部件、制造工艺不稳定的情况下量产，随着运行里程增加，机械、电气部件陆续暴露出很多问题，柴油机故障率尤其高，大量机车待修，当时丰台机务段还曾经传唱着一句顺口溜：“东风4，东风4，从东单跑不到西四。京广线要瘫痪，东风4要完蛋”。
大连厂针对柴油机在结构和工艺等方面问题又作了很多改进，在改进过程中柴油机采用了加厚的对称连杆盖并加设排气稳压箱，为了区别原有的柴油机，经过上述两项改进的柴油机定型为16V240ZJA型，装用该型柴油机的东风4型机车非正式称为“东风4A型”以示区别，第一台装用A型柴油机的东风4（A）型0109号机车于1976年6月出厂，并于同年下半年开始批量生产。
