由于81号院多年无人使用，最初一些社会闲散人员在其中过夜，一些灯火造成了所谓鬼火的谣言。随着81号院在网上被热炒，探险者们经常翻墙而入，制造一些声响和光亮，其实不过是自己吓唬自己。警方同时告诫探险者，私自闯入他人建筑物是违法行为，如果出现问题，警方会以妨碍治安为由对此进行处理。

在天涯论坛上有网友发帖称，这幢楼是1900年左右由皇帝赐给英国人建的教堂，当时和它一起建的就是王府井的教堂，但是由于工期比王府井那座慢，后来又爆发了战争，这座就停工了。这之后就是一个国民军官住在里面，后来国民党军官去了台湾，扔下了家眷，他的姨太太就在里面的一间屋子上吊自杀了。

传说一：

据说，那位国民党姨太太上吊自杀以后，这楼里边就出现了许多许多奇怪的事情，每当到了风雨交加的夜晚或者月圆的晚上，房间里就会传出哭声，摔玻璃瓶的声音....