杨贵妃本是唐玄宗儿子寿王李瑁王妃，后来被唐玄宗看中，杨玉环受令出家后，唐玄宗马上把她接到了身边，杨玉环也得以“后宫佳丽三千人，三千宠爱在一身。”。
可就是这么一个集三千宠爱于一身的女人，在新旧唐书中却都有两次被唐玄宗赶回娘家的记载。《旧唐书》中记载：“五载七月，贵妃以微谴送归杨銛宅”；“天宝九载，贵妃复忤旨，送归外第。” 《新唐书》中记载：“它日，妃以谴还铦第，比中仄，帝尚不御食，笞怒左右。”；“天宝九载，妃复得遣还外第，国忠谋于吉温。”
杨贵妃第一次被赶回娘家是在天宝五年，此时杨玉环刚被封为贵妃没多久，两个人正处于热恋之中，经常你侬我侬。新旧唐书中都说是杨贵妃犯了错误，惹唐玄宗不高兴才被送回了娘家。但是具体的经过，都没有说。野史中说杨贵妃恃宠而骄，这次被送回娘家，是因为看到玄宗与别的妃子眉来眼去，顿时醋意大发，于是对玄宗和那个妃子一顿羞辱，这才惹得盛怒，被送回了娘家。
不过玄宗赶走杨贵妃后，其实内心十分不舍，于是没多久便派人把她接回了宫。
第二次是在天宝九年，《旧唐书》和《资治通鉴》都说杨贵妃是因为“杨贵妃复忤旨”，也就是说，杨贵妃又做错了事。而这一次，唐玄宗没有马上去把杨贵妃接回来。
这一次唐玄宗把杨贵妃赶回娘家，很可能是为了震慑杨家。《新唐书》中记载：“杨家人因为杨贵妃得宠，家族日益显赫，杨家人入宫时，唐玄宗的亲妹妹持盈公主只敢让座而不敢入座，唐玄宗的女儿信成公主因为与杨家人闹了点矛盾，杨家人一句话就能追要回内府赠送给信成公主的东西，甚至连驸马的官职都丢了。”
唐玄宗意识到，如果再这么下去，自己的江山怕是快成杨家的了。于是，他随便找了个罪名便把杨贵妃赶回了娘家，算是给杨家一个下马威。这一下，杨家人慌了，想派人求情，又不敢。后来有个叫吉温的人向唐玄宗求情，唐玄宗也放不下杨贵妃，就派人去接杨贵妃。杨贵妃感激涕零，割下一缕青丝给唐玄宗，唐玄宗马上把杨贵妃接回了宫。
从此，杨贵妃知道唐玄宗离不开她，便更加恃宠而骄了。杨家人更是恢复了往日的“风采”，敢随时大摇大摆地出入禁门，没有人敢管。红颜祸水，说的真是一点都没有错。