天寶十五載（756年）七月十二日，玄宗到達劍州，而太子也在靈武 （今寧夏靈武西北）即皇帝位。重新組建了中央政府，改天寶十五載為至德元載。這樣，一下子又出現了兩個皇帝，兩個中央政府。直至八月十二日，靈武的使者就來到成都，報告了太子即位的消息。收到這消息，玄宗的心情是很矛盾的。肅宗把一個爛攤子全接了過去，把抗敵的任務全部擔當起來，無疑是給玄宗去掉了一個沉重的包袱。但是，突然失去 了事實上他已經放棄了一個多月的最高統治權，玄宗又是很不情願的。因此，四天後玄宗下制：「自今改制、敕為誥，表疏稱太上皇。四海軍國事，皆先取皇帝進止，仍奏朕知，俟克服上京，朕不復予事」，欲為自己保留政事的最高決定權。另一方面，肅宗即位後，實際上已接管了最高統治權，對平叛進行統一 指揮後，形勢立即發生了巨大的變化，只用了一年的時間，就收復了長安。至德二載（757年），玄宗由成都返回長安，居興慶宮（南內），稱太上皇。

居住在興慶宮的兩年間，玄宗不再過問政事，侍候他的仍是龍武大將軍陳玄禮與內侍監高力士。另有玄宗的親妹玉真公主與舊時宮女、梨園弟子為他娛樂。玄宗對楊貴妃之死一直是耿耿於懷。他從成都回來後，即派人去祭悼她；後來又想改葬，遭宦官李輔國反對而停止，卻密令宦官將貴妃遺體移葬他所。宦官獻上了貴妃的香囊，玄宗把它珍藏在衣袖裡。又讓畫工畫了貴妃的肖像，張掛於別殿，「朝夕視之而欷歔焉」。上元元年（760年），宦官李輔國上奏肅宗說：「上皇居興慶宮，日與外人交通，陳玄禮高力士謀不利於陛下。今六軍將士盡靈武勳臣，皆反仄不安，臣曉喻不能解，不敢不以聞。」這年七月，李輔國乘肅宗患病之機，矯詔強行把玄宗遷居西內。在途經夾城時，李輔國又率射生將五百騎，劍拔弩張，氣勢洶洶地攔住去路。玄宗膽戰心驚，幾乎墜下馬來，幸虧高力士挺身而出，玄宗才安全地遷居甘露殿。事後，肅宗沒責怪李輔國，反倒安慰他幾句。才幾天後，玄宗的幾個親信馬上遭到清洗：高力士以「潛通逆黨」的罪名，被流放于巫州；陳玄禮被勒令致仕；玉真公主也出居玉真觀。剩下玄宗隻身一人獨處，再沒有一個可以說話的親近人，好不淒慘。之後，肅宗另選後宮百餘人，到西內以備灑掃。寶應元年四月（762年），太上皇駕崩，終年78歲。諡號至道大聖大明孝皇帝，廟號玄宗（清朝為避康熙帝玄燁諱，改為元宗 ），葬於泰陵。