二胡始于唐朝，至今已有一千多年的历史。它最早发源于我国古代北部地区的一个少数民族，那时叫“奚琴”。宋朝学者陈旸在《乐书》中记载“奚琴本胡乐也……”唐代诗人岑参所载“中军置酒饮归客。胡琴琵琶与羌笛”的诗句，说明胡琴在唐代就已开始流传，而且是中西方拉弦乐器和弹拔乐器的总称。
到了宋代，又将胡琴取名为“嵇琴”。宋代末学者陈元靓在《事林广记》中这样记载：嵇琴本嵇康所制，故名“嵇琴”。宋代大学者沈括在《补笔谈·乐律》中记载：“熙宁中，宫宴，教坊伶人徐衍奏嵇琴，方进酒而一弦绝，衍更不易琴，只用一弦终其曲。”说明在北宋时代已有很高的演奏水平。徐衍为皇帝大臣们演奏”嵇琴”时，断了一根弦，仍然用另一根弦奏完曲．没有娴熟的技艺是做不到的。后来沈括在《梦溪笔谈》中又记载“马尾胡琴随汉东，曲声犹自怨单于。弯弓莫射去中雁，归雁如今不寄出。”说明在北宋时已有了马尾的胡琴。
元朝《元史·礼乐志》所载“胡琴制如火不思，卷顾龙首，二弦用弓捩之，弓之弦以马尾”进一步阐述了胡琴的制作原理。到了明清时代胡琴已传遍大江南北，始成为民间戏曲伴奏和乐器合奏的主要演奏乐器。