广州陷落的第二天，虽然还没有抓着叶名琛，但额尔金就感觉有必要建立政府，重建广州的秩序了。广州人不讲自觉，逢乱必抢，英法联军更不讲自觉，参战就捞战利品。不管怎么说吧，额尔金要建立广州政权了。而且，这广州政权还得广人自治。原因很简单，英法联军方面，懂得广东话的就两三个人，怎么统治广东省啊。1858年1月6日，英法夷人把柏贵与穆克德讷“请”到了观音山。

　　夷人对穆克德讷的印象是：“他是个大汉，身高几近6英尺，年约60岁；肥胖得出奇，几乎无法站直……他之所以身居高官，似乎主要是由于他拥有这么一副魁伟的身材，而不是其他什么德行。他是个最无关紧要的人物。他这个人对政治上的任何举措都是可有可无的。”说来说去，这个将军就是个大饭桶。没办法，人家先祖打下了江山，儿孙后代再饭桶白痴，都能封个将军呢。夷人对柏贵省长的印象倒是好一些：“行动举止和谈吐都习惯于宫廷中的礼仪规范。他为人精明强干，外貌坚强果断”，以至于英法的海军司令同时相中了他，认为他在任何方面都比老穆那个草包将军强多了。于是他们决定，在广州要利用柏贵维持秩序。

　　双方协商的结果，柏贵还做他的巡抚，巡抚衙门里设置一个联军委员会，由巴夏礼负责。英国拨100名士兵，法国拨30名，其他由中方配备，组织一个1300人的警卫部队，负责广州城内及郊区的治安。至于柏贵本人，没有联军委员会盖印，不得私自或以个人名义发布告示。不用说，这是个傀儡政权了。清政府得知叶名琛被逮后，另派了一个两广总督黄宗汉。在黄宗汉到岗之前，两广总督及钦差大臣由柏贵暂理。看来柏贵混得不错，敌我双方都挺信任他的。

　　1858年1月9日，柏贵政权宣布成立。英法全权代表奏着军乐，大摇大摆地进了广州城。据说没有主人欢迎，旁观的只有汉奸，因为广州人民不屑于前去观看。广州人民能做到这一点很不容易，因为中国人历来喜欢看稀罕的。这次不出来看，不是心里有压力，就是心里有情绪。有压力乃是怕被扣上汉奸的帽子；有情绪乃是干脆自己就认为观看就是汉奸。柏贵前一天曾派人通知各级官员届时到巡抚衙门迎候，但是官员们觉悟很高，不来。所以柏贵下山时，迎接他的反而只能是洋人了，这样柏贵在广东就像洋人的客人了。

　　广州政权建立后，柏贵在英方的授意下，发了些关于中外互相和好的告示。按法国学者伯纳·布立昂所言，英国人很快给柏贵起了个外号：匹克威克。这是狄更斯笔下的人物——老男人、老绅士、老学者、老光棍——有些善良、有些迂腐的老好人。匹克威克这个老好人，这时候只能做双料间谍了，既得给夷人干，还得给清政府干。