最迟在宋代就已经有“四大美女”的说法了，但当时四美女的人选与今不同。在西夏黑水古城遗址曾出土“四美人图”，图中为王昭君、赵飞燕、班姬、绿珠。明朝诗人张元凯写有《四美人咏》组诗，四美人为王昭君、赵飞燕、卓文君、绿珠。
《红楼梦》第六十四回的情节，林黛玉为西施、虞姬、王昭君、绿珠、红拂五位古代美女各写下一首绝句。从已知的资料看，现代版的四大美人最早见于清代华广生编的“小曲总集”
《白雪遗音》，卷三《闹腮胡》中有：“……西施女，来献吴，吴王是个闹腮胡。王昭君，把番和，眼巴巴舍不的刘王闹腮胡。
杨贵妃酒醉深宫内，安禄山也是个闹腮胡。凤仪亭上的貂蝉女，嫁与了董卓也是个闹腮胡。四大美女都是有名的。自古以来就嫁蠢夫。何况你与我。”这里的语气，西施、王昭君、貂蝉、
杨玉环并列四大美女似乎已经是众所周知的事实。《白雪遗音》大约成书于19世纪初，在《红楼梦》之后。