靖以重建大朝门兴工亲告太高玄殿，遣成国公朱希忠告玄极宝殿，安平伯方承裕大学士吕本祭司土司工之神。
虽然嘉靖采取了各种办法保障三大殿的顺利重建，但是摆在嘉靖面前的最大问题还是经费，据工部的的测算，仅是采木经费之数当用银一百三十八万余两，这个数字别说嘉靖能不能接受，首先不能接受的就是方钝了。
方钝这么些年在户部苦苦支撑，结果工部上来就说要近一百四十万两的款项，差点没把老头直接送走，方钝听说后直接上门和工部尚书吴鹏、右侍郎严世蕃大吵一架，随后上疏请求致仕，老头实在是受不了嘉靖的折腾的，也实在是心力交瘁，无法理事。
方钝请求致仕的同时还给嘉靖上了一道言辞激烈的奏疏称：天下财赋岁入太仓口者计二百万两有奇，旧规以七分经费，每存积三分备兵歉以为常。嘉靖己酉以前岁支最多不过二百万而其少者乃仅至七八十万。庚戌虏变后周章备御每岁调兵遣戍，中外所增兵马数多，饷额增倍。及乙卯丙辰间，而宣大虏警益急。一切募军赈恤等费咸取给太仓、内帑，岁无纪极。
嘉靖三十五年所发京边岁用计三十五年三百八十六万两，太仓岁入银二百万之额不能充岁出之半，由是度支为一切之法，箕敛财贿、题增派括、赃赎筭税、契折民壮、提编均徭推广事例兴焉！其初亦赖以济匮，久之诸所灌输益少。
值四方有事，有司往往为地方奏留且请免。如浙直以被倭、川贵以采木、陕宣大以兵荒，不惟诸军兴徵发停格，即岁入二百万之额且亏其三。而内庭之赏给、斋殿之经营、陛下时以夜半出片纸，有所徵取，臣等虽急无敢延顷刻者。
今岁自入春来发宣大银二十六万有奇，而天下民运至太仓者银仅七万。帑储大计不及十万两，而边臣奏讨日棘。臣驽钝忧惧不知所出，有负圣恩，敢请陛下以贤能者替之。
方钝上疏之后，随即回到家中，作出一副随时等待致仕归乡的态度。嘉靖收到方钝的奏疏之后，虽然对方钝上疏的内容是极为不满，但是也确实很清楚，方钝多年来百般腾挪，至少还是保证了朝廷的运转，眼下朝廷还离不开他，嘉靖亲自下诏，好言安抚方钝，命他回部视事。
但是方钝坚持致仕，再次上疏，称自己实在是才具不足，实在是难以担当重任。嘉靖无奈，只得召见内阁辅臣商量此事，嘉靖问道：“眼下方钝请求致仕，内阁怎么说？”
严嵩说道：“陛下，眼下大工刚刚动工，大司农位置殊重，岂可轻易变动，况舍方钝何人能解此危局也？”
严嵩说的也是实情