Då vi vände bilen för att köra vidare passerade vi ett hus som inte har någonting gemensamt med palatsen som ligger bara några meter ifrån.