地节四年(前66年)七月，霍家发动政变未遂，招致灭族，霍家子孙及霍显都被诛杀。同年八月，汉宣帝以阴谋毒害太子刘奭为由，废黜霍成君皇后之位，将其迁往上林苑的昭台宫居住。

　　五凤四年(公前54年)，汉宣帝下令将其迁往云林馆居住，霍成君自杀，葬于昆吾亭东。