歇后语这种语言形式的运用开始于先秦时期，然后经由长时间发展之后于唐朝时期出现“歇后”一词。所谓“歇后语”，它作为一种特殊语言形式，可以说是与人的日常生活息息相关。它通常都分为前后两部分，其中前半句相当于“引子”，后半句则为“后衬”。一般情况下，在仅仅只是说出歇后语前半部分而未说出后半部分时他人便可意会到它的本意，所以称之为“歇后语”。
歇后语也被叫做“俏皮话”，与成语、谚语等语言形式同属于“熟语”。这种语言形式源自于生活，所以具有较大的传播性。其中就“亡羊补牢，未为迟也”这一歇后语来说，它主要表达在丢了羊的情况下再去修补羊圈其实也不算晚，因为可以防止羊圈中的剩余羊丢失。这一歇后语，是《战国策·楚策四》这一古籍的内容之一，而这一书籍所记载的内容主要为战国时期的事情。由此可见，歇后语这种语言形式早在先秦时期便已出现。
不过关于“歇后”这一词的出现则要追溯至唐朝时期。在记载唐朝历史的《旧唐书·郑綮列传》一书中，里面曾提及唐朝郑綮十分善诗。因为他的诗文大都非常俳谐，所以当时的唐朝人将他的诗体称呼为“郑五歇后体”。歇后语虽然不同于邂逅诗体，但是二者都采用了诙谐的艺术手法，所以整体语感是较为俏皮的。这也是歇后语又被叫做俏皮话的缘由所在。
歇后语经由长时间的发展，进一步衍生出了同音字的使用方法。这种谐音类的歇后语有“孔夫子搬家——净是输(书)”、“梁山泊的军师－无（吴）用”等等。这运用了同音字的歇后语可以说是一语双关，所以有一些也会被列为“双关语”。除此之外，歇后语还可分为叙事类、喻物类以及故事类三种。其中故事类歇后语大都是以某个历史典故为背景而创作出来的，比如说“刘备借荆州——只借不还”。
说到“刘备借荆州——只借不还”这一歇后语，它所依靠的故事背景是三国时期的刘备凭借“赤壁之战”顺利占得荆州的江南四郡，数量要比曹操、孙权两人都多。而建安十五年时，刘备又趁东吴因周瑜逝世一事而停止伐蜀计划之时从孙权手中顺利借到南郡，故而其所在荆州地盘进一步增加为五郡。不过刘备这之后并未将吴郡归还给孙权，所以就有了“刘备借荆州——只借不还”这一歇后语。