根据有关法律规定，你虽然可以主张合同无效，要求对方归还房屋。但是，这种出尔反尔的违约行为，毕竟违反了诚实信用原则，应当受到否定评价。下面，我以当年颇负盛名的“北京画家村案”，来简单论述一下这个问题。

据报道，2002年7月1日，李玉兰与马海涛签订了房屋买卖协议，双方约定马海涛以45000元的价格将位于北京市通州区宋庄镇辛店村的正房五间、厢房三间及院落出售给李玉兰。当天李玉兰交清了房款，马海涛交付了房屋。

后李玉兰对该房屋进行了整修，添加了卫生间等附属设施，新建了三间西厢房。后马海涛因房屋拆迁，可能获得的拆迁补偿可能高达百万元，便想撕毁当年签订的买卖合同。于是，马海涛诉至法院要求确认其与李玉兰签订的房屋买卖协议无效，李玉兰腾退房屋。

根据有关法律规定，宅基地属于禁止流通物，农村居民确实不能将宅基地使用权出卖给城镇居民，该买卖合同确实无效。但是，马海涛明知道宅基地使用权禁止买卖，仍出卖给李玉兰，对合同无效具有重大过错。因此，应当由马海涛返还财产，并赔偿李玉兰的信赖利益损失。

【中华人民共和国合同法】第五十八条　【合同无效或被撤销的法律后果】合同无效或者被撤销后，因该合同取得的财产，应当予以返还；不能返还或者没有必要返还的，应当折价补偿。有过错的一方应当赔偿对方因此所受到的损失，双方都有过错的，应当各自承担相应的责任。

因此，虽然最终马海涛要回了宅基地，但法院判决其总共赔偿李玉兰28万左右。