到1974年廉政公署发现他拥有的身家富可敌国，为肃清公务员体系的贪污腐败，将吕乐列为重点打击目标，当年电影以「五亿」为题，一点也不夸张。而历史上，吕乐和跛豪(本名：吴锡豪)的确是有来往，作为生于同世代的枭雄，二人暗中互相帮忙，以维持本港黑社会秩序。

　　跛豪被捕后，转为污点证人举证吕乐，他指吕乐自1967年升为九龙总华探长后，垄断了本港毒品市场的四大贩毒集团，他们各自都会向吕乐进贡，单是跛豪自己就每个月送给吕乐约4万元，在70年代港岛区的千呎单位楼价约10多万，而这些「进贡」一直维持到吕乐退休，到底他有多少身家实在难以想像。