从头骨化石看，尼安德特人的头确实比智人大，很多人据此开始讨论“尼安德特人的头大，为什么打不过智人”这样的问题，但其实，我们应该先弄清楚二者的头具体是有哪些差异，再去考虑这些差异对谁更加有利。
虽然从未发现过尼安德特人的脑部组织，但是，由于大脑与颅骨连接紧密，因此可以在颅骨内面观察到软组织痕迹，其大小、形状、纹理都是有助于还原尼安德特人脑部的情况。而且，考古学家也发现了许多能够反映尼安德特人意识的绘画、装饰、艺术创作的实物，比如他们会利用鹰爪制作项链、用贝壳制作成串珠，还会在岩石上绘制出抽象的图案。
从骨骼遗存上看，成年尼安德特人头骨比智人大，而且形状上也存在差异。首先，尼安德特人的枕骨比较大，通俗地说就是后脑勺部分比较突出，从侧面看尤为明显；其次，尼安德特人的头骨细长，额骨（脑门）位置比较平缓，而智人的头骨则更加接近于球形，脑门相对陡峭；第三，尼安德特人的小脑比智人小，智人不仅小脑更加膨大，颅底也变得更加弯曲。
相比之下，智人的头部还有越发接近球形的演变过程，这也使得智人的方向感、注意力、运动技能、认知能力、语言能力、视觉空间整合能力、自我意识、记忆力、推理能力、社交能力有了进步和发展。
从前面的分析可知，尼安德特人的头更长、更扁，而智人的则更短、更圆，其成因有两种猜测。一是大脑的生长速度差异，二是生产方式的不同。
先说生长速度，人的颅骨是出生以后再闭合成熟的，这个过程大约需要1年到1年半的时间。尼安德特人婴儿头部和智人婴儿头部大小相近，脑容量均为400毫升左右，但是在出生后，智人的大脑开始快速生长。
在西班牙的西德隆（ElSidrón）遗址，人类学家找到了一个有着4.9万年历史的儿童头骨，他死时大约8岁，但是他的脑部大小仅为成年尼安德特人的87.5%，而与他同龄的现代儿童，脑部已经发育到近乎成年人脑部的95%。
也就是说，尼安德特人大脑发育完成比现代人需要更长的时间，其大脑体积随着个体年龄的增长而扩张，也就使得其头部形态也就较为特殊。
第二种猜测所说的生产方式不同，其实指的是产道的差异。智人出生时头较小，是为了能够有效降低婴儿和母亲的风险。尼安德特人妇女的产道与智人不同，智人宝宝并不是直溜溜地通过产道的，而是“旋转”着出来的，这是因为智人的产道顶部（入口处）横向比较宽，而底部（出口处）纵向比较宽，但是尼安德特人的产道顶部和底部都是横向较宽，因此尼安德特人婴儿出生时头部的形状大小可能与智人本身就存在差异。
头大，其实包含两个方面，一是说它能被人看到的部分，也就是颅骨大，二则是说人肉眼看不到的地方，即脑容量大。无论是头大，还是脑容量大，都不能直接与智商挂钩。颅骨大小是通过测量得来的，整个颅骨上有许多重要的测量点，对这些点的测量可以得出颅骨最大长、颅骨最大宽、颅高等的准确数据。比较两个以上不同颅骨的关键数据，就可以判断出颅骨是大是小。
早期研究中，要知道脑容量的大小得分两种情况，如果颅骨保存得比较完整，便可以向颅骨内填充物品，再通过测量填充物的容量得出脑容量；但是如果颅骨保情况不好，就需要对脑容量进行推算，其中颅长、颅宽、颅高是重要数值。现在，这些测量交给核磁共振就可以解决了。
我们常说的脑容量其实就是颅骨内腔的容量。虽然从南方古猿到现代人，脑容量扩大了大约3倍，但是脑容量大并不意味着人就聪明，聪明与否与脑神经元、大脑的表面积、大脑表面的沟回等因素有关。因此尼安德特人和智人头骨扁圆、大小、长短的差异，并不能作为智力判定的依据，也不是智人得以生存的直接原因。