杨家乍得高位，底蕴和素养都还欠缺地很，一时得意，难免忘行，他们常常在长安城中做出许多欺贫霸弱的行径，引得许多民怨，但有司碍于杨玉瑶的面子和杨家的权势，俱都选择无视，敢怒而不敢言。
百姓对杨家之人颇有埋怨，将杨玉佩、杨玉珠、杨国忠、杨、杨五人并称为五杨，走路行车俱都避之，不过好在李瑁名声不错，杨玉环又嫁入寿王府已久，之前并无乱纪之事，故而没有被纳入五杨之列。
李隆基待五杨极好，时常赏赐金银财货，动辄数十万贯，五家均是如此。
天宝二年春，秦国夫人杨玉珠强买兵部韦嗣等人的旧宅，推了韦家的旧屋，在他家的地基上营建自己的新宅。
杨玉珠的新宅征调朝野工匠合计三百人，费钱近二百万贯，历时两载，一直到了天宝四年的冬天方才建成。