风云突变
1960年是乌茨背运的一年。这一年，自由党击败了原先由卡希尔领导的工党政府，掌握了新南威尔士州的大权。新任州长阿斯金（ Bob Askin） 形容歌剧院工程是“一个要命的财政负担”。
1963年，乌茨带着妻子和三个孩子搬到悉尼的鲸鱼湾居住，开始潜心解决歌剧院内部的工程难题。音乐家古森斯要求歌剧院适合演出音乐会和歌剧。有人建议，主厅应能兼容舞蹈和戏剧的演出。大厅被要求同时用于交响乐和歌剧的演出，座席在三千到三千五之间。但实际上，歌剧观众要求良好视线和舒适的席位，音乐会的观众则侧重音响效果。如何将舞台、视线和声音融为一体？为此，乌茨花了大量的时间和精力，做出了种种尝试，包括安装大型机械化旋转舞台等。而政府官员也一再改变主意，最后大厅定为两千五百个席位，他们认为，大厅没有必要设置三千五百个席位，因为悉尼不可能一夜之间拥有那么多的歌剧观众。
此时，建筑歌剧院的财政危机也暴露出来。最初的总预算为九百万澳元。1957年，州长卡希尔曾乐观地宣称：歌剧院将在1963年澳洲国庆日竣工。然而，工程到了1965年仍在持续，筹备委员会发现，至少需要四千五百万澳元才能完成这个浩大的工程。这个巨大的数字引起了各界人士的关注。乌茨的反应是：不能以平常的手段和要求来衡量这个不寻常的建筑物。他拒绝表明正式施工的截止日期和确定的总投资额。
公共建筑事务部部长休斯上任伊始便召见乌茨，气咻咻地质问他为什么工程进度如此缓慢。休斯对乌茨极不尊重，他的态度带有对他的政敌——工党的强烈偏见，也就是说，他把乌茨正在兴建的歌剧院归咎于赞同这个工程上马的前工党政府。而休斯之所以能上台，还有一个重要因素，即拥戴他的人希望他能以手中权柄加快修建歌剧院的进度和压缩开支。双方一度陷入僵局，歌剧院工程一度处于停滞阶段。
同时，乌茨的合作者（主要是建筑工程师）不断向休斯打报告，抱怨乌茨独断专行的建筑方法以及他对物质材料的苛求。乌茨的确是吹毛求疵的，他希望按他的标准来对待这个工程。他甚至细腻到关心歌剧院附属餐厅使用的餐刀的设计样式。“完美”是乌茨唯一的标准。他的确很少关心花多少钱、多少时间完成这个建筑。
当时的媒体也众说纷纭，记者们很少提到歌剧院的建筑成就以及它将如何使澳大利亚扬名世界，却将焦点集中在工程的巨大开支上。新闻界的煽动，使大多数澳洲人相信：歌剧院旷日持久的建造实在是一个“国际玩笑”，它“损害了澳洲的形象”，“是一场政治足球赛”。人们讽刺正在兴建的歌剧院是“一只蜷伏的白象”。至1965年年底，尽管歌剧院外观已逐渐成形，但人们相信，距离这个“大白象”的投入使用，还是遥遥无期。
乌茨和政府僵持了一段时间。1966年2月26日，乌茨在休斯的办公室与主人发生了严重的争吵，随后他宣布辞职。
乌茨辞职返乡
新南威尔士政府相信，为了人们的利益，他们只能接受乌茨的辞呈。此时，歌剧院的基础和外形已基本完成，是按乌茨的原意进行的。
乌茨宣布辞职后，他的支持者立即走上街头游行示威，希望政府恢复乌茨的职位，让其继续主持歌剧院工程建设。在游行的队伍中，有著名建筑师森帝拉和著名音乐家阿弥迪奥。攻击乌茨的人则指责他没有留下歌剧院内部完整的设计图，并说乌茨有那种在无限延长的时间中对每个细节都吹毛求疵的怪癖。他们认为，假如继续让这个丹麦人负责这个工程的话，歌剧院永远都不会达到他的要求，那将是一个漫长的“仲夏夜之梦”。乌茨反驳说，他所做的一切是“希望歌剧院的内部和外部水乳交融，就像一件完满无缺的艺术精品”！绝大多数澳洲人对乌茨的去职轻松多于同情。一些他的支持者也认为：以九年的时间让乌茨实现他的梦想，这也算是公平了。
其实，关于乌茨去职后“没有留下任何有关歌剧院内部建设的资料”的指责是不成立的。新南威尔士州立图书馆的研究人员向笔者证实，他们至今保存着乌茨亲手绘制的七千多张歌剧院内部设计的草图。
事实上，乌茨去职后不久，他还潜心解决了歌剧院屋顶的装饰等问题。他设计出一种白色瓷砖，上面刻有波纹，这些线条改变了阳光的反射方向，使歌剧院在南半球强烈的日照下看起来不那么刺眼。这不仅是建筑师天才的一笔，也同时表明乌茨对自己不得不离去的作品怀有一腔热情，尽管乌茨在1966年5月举家回国时痛切地说：“假如那些人要将这个作品摧毁，我将不表示惊奇。”
一语成谶。乌茨的拂袖离去使歌剧院的内部工程一度陷入混乱，大权在握的休斯接受了乌茨的辞职后，重新组织力量，成立由四位澳大利亚公民组成的新的筹建委员会。
1967年，休斯授权新的筹建委员会重新设计了歌剧院的内部结构，于是，原先设想上演歌剧的综合大厅变成了音乐厅，原先设想的戏剧厅变成了演歌剧的场所，实验剧场变成了上演戏剧的大厅，与此同时，还增加了三个建筑单位——两个小剧场和一个展览厅。所有这些都与乌茨的原意大相径庭。1966年，乌茨设计的旋转舞台已经定位，但1967年官方改变计划后，那台庞大的设备被拆除，后被移至长湾监狱的一家工厂。根据当年的媒体报道，由于综合大厅被改为音乐厅，歌剧不得不移至原先设计的剧场演出。这一变动的结果会导致不能上演大型歌剧。这一预言，最后被证实。
