南蛮子这一称呼起源于先秦时期，源自中原民族对南方少数民族的贬称，最初是针对楚国以南的部族。在古代中国，存在着四大民族集团：东夷、西戎、南蛮、北狄。其中，巴、蜀、越等民族也各有自己的集团。华夏文明主要由东、西、北三大集团的文明融合形成，如黄帝从西部东迁至北方，打败三苗后奠定了华夏集团的基础。舜来自东夷，商朝与北狄关系密切，而周朝与西戎关系紧密。
三苗集团在竞争中失利，被迫南迁，因此被划归为南蛮民族，地位相对较低。在周朝伐商的过程中，南方的楚国参与了对抗，周朝封楚人为“子爵”，但楚人不满，最终自立为王，与周天子平起平坐。这一事件影响深远，湖北地区至今仍保留着“不服周”的说法，象征着楚人的特立独行。而北方各民族在这一时期实现了民族融合。
中原或北方集团对南方自立的部落持有轻视态度，称其为“南蛮子”。南蛮子的含义，一方面指他们来自南方，另一方面暗指其社会地位较低。在金-南宋时期，“蛮子”成为南宋的通用代称，甚至在地图上以多种语言标注，被游牧政权视为对汉族政权的蔑称。元朝兴起后，虽尊金朝为“中国”，但称南宋为“蛮子国”，这一称呼在元代具有歧视意味，反映了南方人社会地位的低下。
元朝之后，“南蛮子”逐渐变为贬义词，不再具有法定的正式称谓。清朝时期，满洲人也将闯关东的移民称为“南蛮子”，这一称号沿袭至今，反映了历史上的地域歧视和文化差异。
在古代，黄河是中华文明的发源地，人们靠河而生存。黄河在北方，而且适合人们居住生活。南方潮湿闷热，不适合人们居住，那的人也很少，平时说：“蛮夷之地”就是指的南方。所以北方人管南方人叫南蛮子。但实际上古代的中原人大多数已经南迁到南方各地。