“手谈”就是下围棋。段祺瑞与吴清源皆喜好“手谈”。两人虽同为“名人”，但吴清源是名副其实的围棋名人，而段祺瑞一直以来被“名”为反动军阀、日本帝国主义的走狗、“三一八惨案”制造者等等，所以这二人一旦“手谈”，尚未开局，段祺瑞首先就在“名”上输了。

　　段祺瑞尽管名声不佳，但其两项爱好，却多为人称道：一为麻将、二是围棋。尤其是围棋，偏还为他“赢”得了好名声！陈毅元帅就说过，“段祺瑞的一生干了很多坏事，但对围棋还算干了些好事。”陈毅指的“好事”，应该包括段祺瑞对中日围棋交流的推动，以及在相当程度上，他“成就了”吴清源后来在围棋事业上的辉煌。

　　日本围棋由我国传入，但至有清一代，我国围棋水平已落在日本后面。光绪末年，段任保定军官学堂总办，常与侨居保定的日本人下棋。后者棋艺多不高，故段常赢，他由此低估了日本围棋的水准。直至1909年日本四段棋手高部道平来华旅游，几番“手谈”，不仅段输，连段身边的“围棋高手”也尽落败，这才让段惊愕不已。高部道平从此成为段府上宾，往来中日间凡十七年，多由段负责接待、引荐，进行中日围棋交流。1919年夏，段在北京还盛情款待来华日本青年棋手濑越宪作，此人后来成为吴清源的老师。

　　段祺瑞与吴清源首次“手谈”时，后者还是年方11岁的聪灵少年。吴清源少显棋才，9岁时便能与一些国手对局。后因父亲亡故，家道中落，1925年春，11岁的吴清源和母亲打算从北京南下回乡。行前，棋手顾水如将吴带到段府，让段试其棋艺。段与吴首次“手谈”，段一败涂地，以致郁闷得将自己在房间里整整关了一天。段在乎输赢，但决非小肚鸡肠。此时他已有心留吴清源在北京下棋，由他每月给吴100元作“学费”。正因为有了这100元，吴清源一家得以在北京生活，他则继续下棋。

　　“九一八”事变后，蒋介石担心日寇利用段祺瑞，故特请段南下上海“颐养”。段因此来到上海，定居于霞飞路（今淮海中路）上的一幢洋楼里。段的到来，带动了上海的围棋发展，不久即取代北京，成为全国围棋名手汇集的中心。

　　1934年5月，日本著名六段棋手木谷实与其时尚未加入日本籍的吴清源五段来沪访问。吴不忘故旧，造访时年69岁的段祺瑞，于是有了两人的又一次“手谈”。结果以段小胜终局。望着眼前风华正茂的吴清源，大病初愈、老态龙钟的段祺瑞一定心知肚明：吴清源是在还他“情”。

　　此番“手谈”，不知段祺瑞是否会想到世事如棋，充满许多复杂；人生如棋，设伏诸多凶险。无论于己于人，有时候看似输了，其实未必尽是输；有时候眼见赢了，其实还是输，就像此刻的他。有一点可以肯定，段祺瑞一定对吴清源充满了喜欢。曾有记载，此后不久，段祺瑞应蒋介石邀请往庐山避暑时，他向蒋谈起围棋，谈起吴清源，并提醒蒋，吴有可能加入日本籍，应设法召吴回国，指导国人围棋。但当时蒋介石正忙于时局，无心他顾。

　　1936年11月2日，71岁的段祺瑞在上海病逝。民国著名记者陶菊隐在《从下棋讲到做人》一文中写道，“老段死了，斯人而在，斯道（围棋）尚有人提倡。现在我国围棋高手们自段合肥（段祺瑞籍贯合肥，故又称段合肥——笔者）一瞑不视之后，惶惶然有曙后孤星之感。”陶这话是冲着段的围棋人生说的。综观段祺瑞一生，显然有着两重人生，一为政，一为棋。前者，他输了；后者，他却是“输”中有“赢”。