黑龙江省清末，清廷决定，改革东北地区的管理体制，实行行省制。1907年4月20日（清光绪三十三年3月）47万平方公里，人口127．3万人。省会齐齐哈尔城。省以下分设府、厅州、县，并设道区分辖。1908年8月（清光绪三十四年七月），裁撤墨尔根、呼伦贝尔、黑龙江（瑷珲）副都统，将呼伦贝尔、瑷珲两处改设呼伦、瑷珲兵备道。1911年（清宣统三年），黑龙江全省共设3道（兴东、瑷珲、呼伦）、7府（龙江、
呼兰、绥化、
海伦、嫩江、黑河、胪滨）、6厅（讷河、瑷珲、呼伦、大赉、肇州、安达）、1州（巴彦）、7县（兰西、
木兰、余庆、青冈、拜泉、大通、汤原）、4旗（后郭尔罗斯、杜尔伯特、扎赉特、依克明安）。
辛亥革命推翻清王朝，1912年1月，成立
中华民国，黑龙江行省及其行政区划仍旧。不久，裁撤黑河府、兴东道，添设呼玛厅、萝北厅设治局；将瑷珲道移至黑河改为黑河道，呼伦道因叛乱被废止。1913年按照全国“划一现行各县地方行政官厅组织”的统一规定，各府、厅、州一律改为县的建制。1914年按照《省官制》的规定，全国各地方以省为名，不再称行省。同年增设龙江道和绥兰道，加原黑河道全省共分3道、23县、5设治局、4旗。随着垦荒事业的发展和人口的增加，相继增设了一大批县和设治局。1929年2月，裁撤道区，改为省、县两级制，由省直接辖县。至1930年，全省共42个县（其中一等县15个，二等县11个，三等县16个）、11个设治局、4个旗。1931年
“九·一八”事变后，日本侵略者为施行殖民统治，逐步把省划小。1932年12月和1933年1月，将黑龙江省西部地区的呼伦、胪滨、室韦、奇乾4县和雅鲁、布西、索伦3县（局）分别划为兴安北分省和兴安东分省。1934年12月1日，又将黑龙江省分割为龙江省和黑河省。1939年6月1日，从龙江省和滨江省各划出一部分县设置北安省。
1945年“九三”
抗日战争胜利后，国民党政府重行划分东北行政区域为辽宁、安东、辽北、吉林、松江、合江、黑龙江、嫩江、兴安九省，大连、哈尔滨两个中央直辖市。为开辟东北根据地，中共中央立即派遣大批干部和军队挺进东北。1945年11月，将原北安省和黑河省合并为黑龙江省，11月13日宣布成立省政府，驻北安县城。全省共辖北安、德都、克东、克山、拜泉、依安、明水、望奎、海伦、通北、绥棱、绥化、庆安、瑷珲、
孙吴、逊克、呼玛、乌云、鸥浦、漠河20个县。1946年经过调整和增设，增至26个县，并设立龙南专区和黑河专区。1947年2月2日，黑龙江、嫩江两省在齐齐哈尔举行合并会议，决定合并为黑龙江嫩江联合省（简称黑嫩省），省政府驻
齐齐哈尔市。同年9月16日，东北行政委员会决定，将黑嫩省重新划分为黑龙江、嫩江两省。1949年4月21日，东北行政委员会发布《重划东北行政区划令》，将嫩江省与黑龙江省合并为黑龙江省，并将原嫩江省所辖的扶余、乾安两县和郭尔罗斯前旗划归吉林省，将松江省的佛山县划归黑龙江省管辖。同年5月15日，黑龙江、嫩江两省机构正式合并，黑龙江省会设于齐齐哈尔市。全省共辖1市、41县（旗），总人口552万人。
1954年6月19日，中央人民政府发布《关于撤销大区一级行政机构和合并若干省、市建制的决定》，撤销松江省建制，与黑龙江省合并为黑龙江省，并将哈尔滨市改为省辖市并入黑龙江省。省会设于哈尔滨市。8月1日，两省机构正式合并。在两省合并的同时，将原黑龙江省所属的白城、洮南、安广、大赉、镇赉、开通、瞻榆等南7县划归吉林省（同年9月15日，正式移交吉林省），在西部和东部地区分设嫩江、合江专区，加原黑河专区共3个专区，分辖一部分县（旗），实行省直辖和专区辖县并行体制。新的黑龙江省，南与吉林省接壤，西与内蒙古自治区毗连，北、东隔黑龙江和乌苏里江与苏联相望。全省共辖3专区、5市、64县、2旗、1矿区，总面积46万余平方公里，人口1250万人。1956年增设绥化专区和牡丹江专区。1958年撤销绥化专区，设立松花江专区，省不再直接辖县。1964年6月，将伊春、安达市改为伊春、安达特区。同年8月，为开发大兴安岭林区，设立大兴安岭特区。1965年5月，恢复绥化专区。到1966年底，全省共辖6个专区、2个特区、8个
地级市、65个县、1个县级特区、58个市辖区（镇），全省总人口2198万人。1969年7月5日，中共中央、国务院决定，将内蒙古自治区所属的
呼伦贝尔盟（共2市、12旗）划归黑龙江省管辖。1979年5月30日，中共中央、国务院决定，将呼伦贝尔盟和大兴安岭地区的鄂伦春自治旗、莫力达瓦达斡尔族自治旗，从7月1日起划归内蒙古自治区。12月14日撤销伊春区，恢复
伊春市，将安达市更名为大庆市。
1980年以后，为了适应经济发展的需要，按照国家制定的设市标准，先后将一批经济比较发达的县改为县级市；为进行市领导县的试点，先后撤销
牡丹江地区、合江地区、嫩江地区，实行地市合并，由市领导县。到1992年底，全省共辖松花江、绥化、黑河、大兴安岭4个地区，哈尔滨、齐齐哈尔、牡丹江、佳木斯、
鹤岗、鸡西、双鸭山、伊春、大庆、七台河10
个地级市，绥化、北安、黑河、五大连池、安达、肇东、阿城、同江、双城、尚志、富锦、铁力、密山、海伦、讷河、海林、绥芬河17个县级市，呼兰、宾县、五常、延寿、方正、依兰、巴彦、木兰、通河、庆安、绥棱、望奎、明水、青冈、兰西、肇州、肇源、林甸、泰来、龙江、甘南、富裕、拜泉、依安、克山、克东、德都、嫩江、宁安、穆棱、林口、东宁、鸡东、虎林、勃利、桦南、桦川、汤原、集贤、宝清、友谊、饶河、抚远、绥滨、萝北、嘉荫、逊克、孙吴、呼玛、塔河、漠河51个县和杜尔伯特蒙古族自治县。10个地级市分设63个市辖区，并皆实行了市领导县体制；大兴安岭地区除辖3个县外，还直辖4个区（县级）。