二十一岁的宇文赟做了太上皇以后，不用再为朝政费心了，可以纵情玩乐了，大把的时间花费在后宫的声色犬马之中。

　　在他的5位皇后中，数随国公杨坚的长女杨丽华性情温和，彬彬有礼，具备大家风范。即便如此，太上皇仍然逼她自杀。多亏杨坚的妻子独孤氏进宫求情，头磕得鲜血直流，才保住女儿的性命。

　　不久，他的身子就被掏空了，二十二岁那年，即大象二年(580年)五月二十四日，做了一年零三个月太上皇的宇文赟病死了。他的离去，算是为南北朝的昏庸之主画上了一个句号。