1937年“八一三”事变后，上海华界沦陷。为对付中国人在租界的地下抗日活动，日军开始筹划利用上海的汉奸流氓来组织恐怖团体。

　　1938年2月，由日军特务部联络员许斐、日本浪人高桥井上出面组织黄道会，以常玉清为会长，总部设在北四川路新亚饭店。常玉清原系青帮通字辈人物，号称“江北杜月笙”，杀人越货无恶不作，曾因私贩军火鸦片被公共租界巡捕房逮捕判刑。

　　黄道会专事恐怖暗杀活动，1938年3月14日，日本当局通过工部局购买了一批手枪，直接拨交给黄道会使用，后来工部局缴获的黄道会会员使用的手枪，经查验就是工部局卖给日本特务机关的，其枪号钢印尽管已经锉过，但仍旧依稀可辨。常玉清在上海新亚饭店6楼设有办公场所，据知情人回忆，那里实际上是一处审讯、杀人机关。

　　据现存的租界巡捕房调查报告称，在短短不到一年的时间内，至少有17件恐怖活动可以肯定为黄道会所为：(1)向四川路140号中国旅行社大楼投弹；(2)筹划向法租界震旦大学投弹；(3)为释放被绑架的米行老板韦伯成议定赎金；(4)暗杀《社会晚报》主笔蔡钓徒；(5)在静安寺路暗杀沪江大学校长刘湛恩；(6)在劳勃生路中华基督教青年会谋杀戴泳；(7)在法租界暗杀邓本瀛将军未遂；(8)行刺上海中学校长苏颖杰未遂；(9)向宁波路沪东无线电台投弹；(10)向爱文义路呼号为X.M.H.C的无线电台投弹；(11)向晨导报社投弹；(12)向中央储蓄会投弹；(13)在浙江路和九江路口投弹；(14)向南京路国货公司投弹；(15)准备向上海中学投弹；(16)准备向北京路大陆无线电台投弹；(17)准备向迪化路中国小学投弹等。

　　大民会是日军扶植的另一个汉奸组织。大民会的前身是东亚会、兴亚会，一直在上海活动。

　　1937年12月，东亚会在上海成立，日军“指定浦东区某处为会所，以便办公，而利进行”。

　　1938年１月东亚会改名为兴亚会，会址与黄道会同设在上海北四川路新亚饭店六楼。和黄道会一样，兴亚会一面鼓噪“中日提携”，一面在日本特务机关的指导下进行暗杀活动。这年２月５日《社会晚报》社的蔡钓徒被杀案，就是由日本特务机关一手策划，由黄道会、兴亚会共同实施的结果。在日本特务机关的命令下，由充任兴亚会总务部长的杨家驹设法将蔡钓徒从法租界蒲柏路赓余里７号带往虹口的新亚饭店加以杀害。

　　但黄道会、兴亚会的暗杀恐怖活动，破坏了租界相对安宁的局面，使租界当局极为不满。租界当局加强了租界的治安力量，对其进行打击，通缉常玉清，逮捕了一批黄道会成员，并向怂恿黄道会制造恐怖局面的日方提出抗议。

　　但日伪特务、汉奸有恃无恐，公然向租界的武装巡捕挑衅，在当时的租界街头，经常可以看到租界巡捕与日伪歹徒之间的枪战场面，许多巡捕就倒在特务的枪口之下，包括英捕、法捕和越捕等。租界当局因此多次为牺牲的巡捕举行葬礼。最近出版的《日军占领时期的上海》一书，就有多张珍贵照片反映了这一史实，也算是一段不该忘记的历史记忆吧。

　　常玉清后来去南京另组汉奸特务组织安清总会。1938年夏天，上海公共租界巡捕房又将杨家驹等兴亚会骨干捕获归案，判处其无期徒刑，有力地打击了汉奸们的嚣张气焰。同年７月１５日，兴亚会经过改头换面，在上海新亚饭店正式成立大民会，由高朔任会长，日本特务机关向其提供经费。1０月１日，大民会本部迁往南京，但其在上海的汉奸活动从未停止过，汪伪特务头子丁默村就兼任过大民会理事长。

　　不久，日军策划成立了更为凶残的76号特务组织，拉开了新一轮恐怖活动的序幕。