这时候，即使是阿尔伯特·爱因斯坦本人也忍不住发起脾气来。他终于明白，虽然柏林许多最具影响力的人都站在他这一边，但他在议会里的敌人肯定从一开始就反对赠送他这份礼物。他把桌上的文件推开，开始写下这封信：“亲爱的市长先生，人的生命极为短暂，而政府的办事效率却相当的低。如果按照你们的方法去做，由于我的生命可能太过短暂，我可能无法享受你们的馈赠，我再次谢谢你们的盛情。现在我的生日已经过去，你们的美意我心领了，请不必再提礼物的事了！”
为了不使自己成为任何政治争论的中心，也为了冻结这件不愉快的事，爱因斯坦自己买下了他妻子所选择的那块土地，自己花钱建了一幢简单的房子。报纸上登了一幅有关这次事件的漫画，跟大多数柏林人一样，他觉得那幅漫画相当有趣，那上面画的是他自己、“礼物房子”以及“痛苦的市政府”——由于市政府做事拖泥带水，才赢得这个不雅的称号。