这年七月，李辅国乘肃宗患病之机，矫诏强行把玄宗迁居西内。在途经夹城时，李辅国又率射生将五百骑，剑拔弩张，气势汹汹地拦住去路。玄宗胆战心惊，几乎坠下马来，幸亏高力士挺身而出，玄宗才安全地迁居甘露殿。

　　事后，肃宗没责怪李辅国，反倒安慰他几句。不几天，玄宗的几个亲信也遭到清洗：高力士以“潜通逆党”的罪名，被流放于巫州;陈玄礼被勒令致仕;玉真公主也出居玉真观。剩下玄宗只身一人，茕茕独处，形影相吊，好不凄惨。

　　之后，肃宗另选后宫百余人，到西内以备洒扫。晚年李隆基忧郁寡欢，宝应元年农历四月五日(762年5月3日)，李隆基驾崩，终年78岁。葬于唐泰陵。同年久病已久的李亨亦驾崩。