鱼的起源很早，在世界上还没有人类的时候，鱼类就生活在海洋里了。虽然在数亿年的演化过程中有一些古老的种类已经灭绝，但另有其它新兴的种类继之产生。据文献记载，鱼最初发现于据今四亿年的
奥陶纪地层，但所得到的那时鱼类的化石是不完整的，一直到了
志留纪晚期，才完整地获取了关于化石及早期
脊椎动物关系的概念。
泥盆纪时，各种古今鱼均已出现。泥盆纪时代既可谓是鱼的初生年代，也是鱼的极盛时代，当时，由于其它的脊椎动物还不多，所以有人把泥盆纪城为“鱼的时代”。到了新生代，各群鱼类十分繁多，成为脊椎动物中最大的类群，为鱼类的发展史中的全盛时代。
从泥盆纪所取得的化石分析，古代鱼类可分为四大类：无颌类、盾皮类、
软骨鱼类、及
硬骨鱼类。无颌类动物在志留纪及泥盆纪中最多，被公认为最早的脊椎动物，化石的无颌类的身体几乎被厚硬骨板及硬的东西包被，故称为甲胄鱼类。盾皮鱼类是最早的有颌类，它们泥盆纪时盛极一时，但到了末期则大部分绝灭。有人认为软骨鱼类及硬骨鱼类是由盾皮类沿两个方向演变而来，但至今仍无证据证实。软骨鱼类被认为是最“原始”的鱼类，但一般认为软骨鱼类与硬骨鱼类是两支平行发展的分支。最早的硬骨鱼类是古鳕类，再由此演变现存的绝大多数的硬骨鱼类。硬骨鱼类中的内鼻孔鱼类的典型原始类型代表是双鳍鱼与和骨鳞鱼，后者是最早的泥盆纪的总鳍鱼类