刘秀在还为成为皇帝之前就和阴丽华成亲，后来当上皇帝了却娶了郭圣通还将其封为皇后，所以很多人认为刘秀并不爱阴丽华。阴丽华是刘秀的梦中情人，刚开始从别人口中听说阴丽华如何漂亮时，刘秀就已经爱上了她。娶郭圣通只是为了利益，并不是因为爱情。

许美人叫许吉阳，是汉光武帝刘秀妃嫔之一。许美人为刘秀生下了楚王刘英。虽然许美人和郭圣通、阴丽华之外为刘秀生下子嗣的女人，但却从来没有得到过汉光武帝刘秀的宠爱。许美人后按惯例成为儿子封国的王太后。公元71年，其子刘英自杀。十多年，许太后才过世。

许美人虽然不受宠，地位极低，但她生的刘英却在很小的时候就被封为楚王，刘英在建武十五年为王，建武二十八年才赴国就任。也是诸侯国里第一个信佛的国王。后因为图谋取代汉明帝被废去王位，而后自杀。

　除了这三个女人，关于刘秀的其他嫔妃记载少之又少。

刘秀有共生十一子五女：长子刘强，初立为太子，后被废，改封东海王;次子刘辅，封沛王;三子刘英，封平王;四子刘庄，初封东海王，后立为皇太子，并继承皇位，即汉明帝;五子刘康，封济南王;六子刘苍，封东平王;七子刘延，封阜陵王;八子刘荆，封广陵王;九子刘衡，封临淮王;十子刘焉，封中山王;十一子刘京，封琅琊王。

女儿分别是：舞阳公主刘义王、涅阳公主刘中礼、馆陶公主刘红夫、淯阳公主刘礼刘、郦邑公刘绶。