杨玉环受宠被封为贵妃，行使皇后专权，她的家人也跟着入京鸡犬升天起来。族兄杨国忠本是一名在四川靠赌博为生的市井混混，来长安投奔杨玉环后官至宰相，权倾朝野。三个姐姐都被封为国夫人，出入宫廷享尽荣华富贵，杨氏一族成为“开元盛世”时期最雄盛的豪贵，连李唐宗室都要对他们礼让三分。每年10月唐玄宗带着杨贵妃去华清池泡温泉，随行的就有三位国夫人和杨国忠一家，可谓风光无二。
被封为韩国夫人的大姐，嫁入老牌世家博陵崔氏，和发迹之前的杨家也算门当户对，丈夫是秘书少监崔峋，一个从四品的小官，两人生了一个女儿崔氏。等到贵妃受封杨家显赫，韩国夫人入京受封后，身价倍增。在杨贵妃的极力撮合下，外甥女崔氏嫁给唐玄宗的孙子李豫为嫡妻，这个李豫是唐玄宗最喜欢的孙子，15岁就以皇孙的身份被封为广平王。在贵妃姨妈的亲自操持下，两人的婚礼办得极为隆重。
和崔氏一同嫁入广平王府的，还有另外一个叫沈珍珠的妃子，她是广平王李豫的心上人。可崔氏是当朝贵妃的嫡亲外甥女，广平王的嫡妻位置只能给了崔氏，广平王的真心就给了侍女沈珍珠，和沈珍珠恩爱有加，还生了一个儿子李适，就是后来的唐德宗。得不到爱的崔氏内心充满了妒忌，倚仗贵妃姨妈，谁都不放在眼里，让李豫更加心生厌恶，碍于贵妃的面子也只能维持表面上的恩爱，让正妻崔氏一直郁郁寡欢。
安史之乱中，唐玄宗带着杨贵妃和杨家兄妹匆匆离京逃难，行到马嵬坡发生兵变，杨贵妃被缢死，韩国夫人也被乱军砍死，杨氏一族彻底没落，受到牵连的崔氏更加被李豫冷落。李豫的父亲李亨上台，史称唐肃宗，太上皇唐玄宗并没有放权，李豫被拜为天下兵马大元帅，率领郭子仪收复了长安和洛阳两京，被册立为皇太子。晚唐乱局加上太上皇的牵制，唐肃宗李亨很快驾崩，皇太子李豫继位，是为唐代宗。
唐代宗李豫本来就不喜欢嫡妻崔氏，杨家倒台后，崔氏和嫡子李邈受到了遏制。倒是沈珍珠因为生了庶长子李适，被册立为广平王妃。安史之乱中，沈珍珠被史思明俘虏后不知所踪。等到李豫收复洛阳，到处寻找沈珍珠无果，只好册立她的儿子李适为太子。崔氏以为自己有了立后的希望，没想到李豫又娶了美丽贤淑的独孤氏为妃，皇后的位置却一直留给失踪的沈珍珠，崔氏最后郁闷而死，仅被追封为贵妃。
杨玉环八姐秦国夫人最安分守己，嫁给了一个叫柳澄的官宦子弟，生了两个儿子。沾了妹妹的光，两个儿子都成了皇亲国戚，大儿子柳钧尚了唐玄宗宗室女长清县主，小儿子柳潭尚了唐玄宗的孙女和政公主，算是亲上加亲。值得庆幸的是，秦国夫人在安史之乱前就病故了，所以没有加入逃亡的队伍，也没有像姐妹一样惨死。秦国夫人生前享受了荣华富贵，死后也能安然入土，算是四姐妹中最有福气的一个。
杨玉环的三姐虢国夫人活得最嚣张死得也最悲惨，丈夫裴氏早早去世，连名字都没有留下，只给她留下了一儿一女。虢国夫人杨玉瑶是四姐妹中个性最张扬，也是绯闻最多。寡居后的虢国夫人淫荡不羁，除了和妹夫唐玄宗眉来眼去，据说还和族兄杨国忠不清不楚。杨国忠和杨家姐妹不是亲兄妹，同宗族而已。据说虢国夫人在娘家就和杨国忠勾搭上了，杨国忠发迹后，两人更是公开出双入对，重温鸳鸯旧梦。
杨国忠的夫人裴柔出身青楼，和虢国夫人在四川就认识了，两人像姐妹一样亲热。杨国忠被乱军砍死后，随行的虢国夫人见势不妙，带着儿女和裴柔偷偷想逃回四川老家，不料被追兵堵在一片竹林里。裴柔自己没有勇气自杀，请求虢国夫人刺死自己。走投无路的绝望之中，虢国夫人出手杀死了一双儿女和裴柔，最后自杀未遂，在狱中流血而亡，仅留下一幅《虢国夫人游春图》任后人无限遐思。
杨家四大美女就这样悲催落幕，连累后代都不得善终，让人唏嘘不已。因为唐玄宗的一己私爱，眼见杨家兄妹起高楼，宴宾客，在高楼享乐十数年，眼见高楼崩塌也只是一夜之间，荣华富贵和功名利禄顿时成了过眼云烟。连白居易也在《长恨歌》叹息道：“姊妹弟兄皆列土，可怜光彩生门户。遂令天下父母心，不重生男重生女。”不过杨家四美能让男权社会产生重女轻男的想法，确实让人难以想象。
