岳庙中出现奸臣跪像始于明代正德年间，起初是铜像，但只有秦桧、王氏和万俟卨三具。到万历年间，即用铁重铸并增加张俊而成跪像4具。此后，这些跪像屡毁屡建，都是用生铁铸成。岳坟中有一副对联曰“青山有幸埋忠骨，白铁无辜铸佞臣”，可作四奸跪像为生铁铸成的证明。

　　关于秦桧夫妇的跪像，还有一段有趣的民间传说。说是某朝某代，有一个秦桧的后人到杭州为官，他见自己的祖宗成年累月跪在岳坟前受人唾骂，心中老大不忍。于是，他指使手下在一个没有月亮的漆黑夜晚，偷偷摸摸地将秦桧夫妇的跪像沉入西湖中，自以为做得人不知鬼不觉。岂料第二天天亮以后，人们发现西湖的水面上竟然漂浮着两具铁质的人像，于是大家七手八脚把它们捞上来，重新安置在它们应该待的地方。原来，秦桧的名声实在太臭，西湖中的水族们也不能接受，把它们又送回了人间。这个具有神话色彩的传说，是人心向背的真实反映。

　　桧如读作“桂”（guì），则是松柏一类的挺拔乔木，人们一直称颂常青的松柏，乐于用在名字之中，可是自秦桧以后，确实再无中国人以“桧”为名，真是委屈了也是常青的桧树了。

　　几年前，有个别“文化人”提出应当让秦桧站起来，说这是出于对人权的尊重，从而引出一番小小的纷争。其实，让秦桧夫妇的跪像在杭州岳坟前趴了近500年，这不是历史上某个人的个人行为，而是民心民意的反映。“莫须有”的罪名诬陷并杀害了岳飞。“莫须有”成了自他以后历朝历代的奸佞凭空捏造罪名残害忠良的重要手段，秦桧必将长久地趴在耻辱地上。