宰相李林甫为了讨好王皇后，暗地里常制造意外事端，想令李隆基废掉李亨太子位，而改立王皇后的儿子。李亨因心中忧虑，鬓发苍白秃落，唐玄宗见了很不高兴。

　　于是，就到太子宫中来察看，结果，他看到宫殿内外没有打扫，乐器上落满了尘土，被虫子蠹坏，身边也没有嫔妃侍女。唐玄宗伤感地对高力士说：“孩子的住处和生活是这样，将军怎么不让我知道呢?”

　　于是让高力士在京兆挑选良家女子五个人来服侍太子。高力士说：“在京兆地区挑选，会让人得到借口，不如选取掖庭中的衣冠士族子女，可以吗?”唐玄宗点头允许。

　　于是，高力士从掖庭中选到三个人，而吴氏也在其中。入了太子宫的吴氏受到太子的宠幸，性情温和、谦逊有礼的吴氏对太子也是十分的尽心照顾。不久，吴氏怀有身孕。