旧上海市图书馆是上世纪30年代上海特别市政府在江湾地区推出的“大上海计划”的一部分，由著名建筑师董大酉设计。图书馆占地1620平方米，建筑面积达3470平方米。正中的门楼为歇山二重檐式，黄色琉璃瓦覆顶，附以华丽的儋饰，四周是用石栏杆围绕而成的平台，大楼整体充分展现出中国传统建筑的神韵；而钢筋混凝土的防火构造加上人造石砌筑的外墙，又使其不失现代建筑坚固实用的特质。

　　1935年9月，为庆贺上海市图书馆建成，蔡元培先生还欣然题词：“括囊大典，网罗众家。”1936年9月，图书馆对外开放。可惜的是，开放仅一年即逢八·一三事变，图书馆被迫关闭。除部分珍本善本书籍事先迁出外，其余的均毁于战火。尽管大楼幸存下来了，但其作为市图书馆的功能就此画上了句号。

　　抗战胜利后，图书馆和邻近的博物馆、体育场一起被征用作集中关押日本战俘的临时性场所。1946年6月底，又被作为军队驻扎的营房。此后，根据南京政府行政院的指令，将图书馆大楼连同博物馆的馆舍一起划拨同济大学使用，一直延续到新中国成立以后。后来，大楼成为同济中学校舍的一部分，一度作为学校图书馆，也被改作学生宿舍，近年来一直闲置着。

　　落成近80年后，这座老建筑终于迎来了重生。由于现有的杨浦区图书馆已不能满足需求，在建设新馆选址的过程中，区委区政府认为，将旧上海市图书馆修缮改建成新馆更具有历史意义。历经三易其稿，最新的旧上海图书馆修缮扩建一期工程设计方案已于5月完成。目前，可行性报告已提交审批，有关部门正在进行安全性评估、功能布局优化和修缮方案完善等工作。

　　按效果图，未来杨浦区图书馆新馆不仅修旧如旧，还将完成当年董大酉未能从“纸上变成地上”的部分，进行扩建，按其最初的设计构想恢复建设成为一栋完整的建筑物，还原手绘图上的“两翼”建筑。新馆规划用地面积为15170平方米，规划地上建筑面积9730平方米。预计这一工程最快将于今年年底开工，2016年完工，2017年对外开放。