विश्व सम्पदा सूचिमा रहेको जापानको शुरी दरबार आगलागी, मुख्य भवन ध्वस्त