东风4型柴油机车是干线客货运用六轴柴油机车，采用双司机室、内走廊式全钢焊接的框架式侧墙承载结构车体，两端设有同等功能的司机室，可双向操纵机车。机车从前到后分别为第一司机室、电气室、动力室、冷却室、第二司机室。电气室内设有电气控制柜、主硅整流柜、励磁整流柜和电阻制动柜等电气设备，以及启动变速箱、启动发电机、前转向架牵引电动机通风机等设备。动力室位于车体中部，安装了一套柴油发电机组，以及空气滤清器、燃油输送泵、燃油滤清器、机油热交换器、膨胀水箱等辅助设备；为了方便对动力装置的检修，机车除了在司机室设有侧门外，在动力室的两侧也设有侧门。冷却室设有油水系统冷却装置，包括V型结构的铜散热器、冷却风扇、静液压变速箱、后转向架牵引电动机通风机、两台空气压缩机等。车体底部两台转向架之间吊装着燃油箱、蓄电池组和两个总风缸。
东风4型机车可分为客运型和货运型，最高运行速度分别为120公里/小时、100公里/小时，两者除传动齿轮比不同（客运型为60：16，货运型为63：14），机车结构基本相同。 机车轴式为Co-Co，走行部为两台相同的无导框式三轴转向架。转向架的“目”字形构架采用钢板组焊成封闭式箱形结构，由箱形截面的两根侧梁、两根横梁、前后端梁组焊而成，并分别焊有旁承座、拉杆座、外侧弹簧座、牵引拐臂座、电机吊杆座、水平杠杆座、横向止挡、制动座、制动缸座及砂箱座等。轮对轴箱装置内装有四列圆柱滚子轴承，轴箱采用拉杆式弹性定位结构，依靠装有橡胶关节元件的轴箱拉杆来实现轴箱的横向和纵向定位。一系悬挂为轴箱圆弹簧并带有液压减震器，二系悬挂为旁承上部的橡胶堆。转向架采用四点支承油浴摩擦旁承装置，车体全部重量通过八个旁承由两台转向架支承，牵引力和制动力通过低位平行四杆牵引杆机构传递，有利于提高机车粘着利用率。此外，转向架与车体间还设有弹性侧挡装置，使转向架进出曲线时能够相对与车体进行回转运动。
牵引电动机采用轴悬式安装方式（滑动抱轴承式半悬挂），即牵引电动机的一侧通过抱轴瓦刚性地支承在车轴上，另一侧通过弹性元件（橡胶垫）和吊杆悬挂在转向架构架上。基础制动方式为单侧杠杆制动，每个车轮各有一套制动装置，机车采用EL-14型空气制动机，可以单独制动机车或同时制动机车和列车。当机车施行制动时，制动缸从空气制动机获得压缩空气，并通过杠杆机构使闸瓦抱轮产生制动作用。停车制动为手制动装置。 东风4型机车采用交—直流电传动，柴油机直接驱动一台交流同步发电机发出三相交流电，经由硅二极管组成的三相桥式整流装置整流为直流电后，输送给六台并联连接的直流牵引电动机，通过传动齿轮驱动轮对。
东风4型柴油机车采用TQFR-3000型牵引发电机，额定容量为2985千伏安，额定转速为每分钟1100转，定子及转子绝缘等级分别为B级和H级，冷却方式为自通风式，主发电机净重为4850公斤。牵引发电机是由一个交流同步励磁机发出的交流电，经励磁整流器转换为直流电后给发电机的转子绕组励磁。为了使牵引发电机能充分利用柴油机的功率，机车设有可控硅励磁调节装置，以保持牵引发电机输出功率的恒定。
牵引发电机发出的三相交流电由GTF-4800/770型硅整流装置转换成直流电，供给牵引电动机使用。每台机车设有两台硅整流柜，硅整流装置采用由硅二极管元件组成的三相桥式整流电路，整流电路每一桥臂有六个并联的NDZ500/2400型平板式硅二极管，每台整流柜共有36个二极管元件。
牵引电动机为ZQDR-410型四极串励直流电动机，额定功率为410千瓦，额定转速为每分钟647转，最高转速为每分钟2365转，冷却方式为强迫通风。为扩大机车的恒功率速度范围，可以对牵引电动机使用二级磁场削弱，磁场削弱率分别为60%和43% 。此外还设有电阻制动，轮周制动功率为3000马力。 为满足煤炭重载牵引的需要，大连机车车辆厂于1982年开始对东风4型机车装用重联装置和电阻制动系统进行研制，于1984年在东风4型0642号、0643号机车上安装了重联及电阻制动设备，出厂后配属北京铁路局丰台机务段投入运用，同年7月至8月进行铁路重载列车运营试验，选择了晋煤外运北通道的京包铁路、丰沙铁路（丰台—沙城—大同线）和京秦铁路（北京—秦皇岛线）为试点，配合中国第一代运煤专用敞车C61型敞车，在大同至秦皇岛东之间开行重载列车，并获得成功。双机最大牵引吨位达5000吨（计60节车辆），平直道上的最大平衡速度可达85公里/小时，在9‰坡道上的平衡速度为26公里/小时，并在7.6‰坡道上进行了双机坡停起动试验 。随着重载列车在中国的普及，大多数东风4型机车在此后均进行了重载技术改造。
此外，绝大多数早期生产的东风4型机车在后来返厂厂修时均按照东风4B型机车的标准进行了改造，包括更换成16V240ZJB型柴油机、联调切控阀、增压器和联轴节等部件，构造速度不变。
