刘邦把父亲和妻子接了回来，吕雉这才有所收敛，审食其也不敢在刘邦的眼皮底下胡作非为。但是刘邦平时忙于政事，晚上就和收罗的众多美女鬼混在一起，常常把吕雉冷落在一边，所以她仍然难免很寂寞，和审食其仍然保持着藕断丝连的联系。久而久之，朝廷上下沸沸扬扬，人们都在窃窃私语，只是谁也不敢把这件事告诉刘邦罢了。

刘邦死后，吕后执掌了朝廷的大权，二人更无顾忌，互相往来。《汉书·朱建传》也说：“辟阳侯行不正，得幸吕太后。”。两人来往更加频繁，有时候，太后召见审食其，甚至留他在自己的寝殿——长乐宫里过夜。吕后人老心不老，常常欲望强烈，召见的名义不足以满足需要，就把审食其藏在大箱子里，贴上贡品的封条，命人抬入宫中。

时间久了，宫里的人一见到写有贡品的箱子，就知道太后又有“喜事”了。惠帝早在做太子时，就对母亲的所作所为有所耳闻，但是当时父亲尚在，他太子地位都不稳固，如果传出这样的丑事，对自己极为不利，只好假装不知。现在自己做了皇帝，眼见吕后和审食其更加放肆，不禁又羞又恨，恨不得找个机会将审食其碎尸万段。终于有一天，他抓到了审食其的一个错处，判了他一个欺君枉法的罪名，想要借这个机会杀了他。