扬雄晚年，本欲远离政治，却偏偏遇上一次政治危机，害得他差点儿丧命。王莽时，刘歆、甄丰都位列上公。新莽始建国三年（11年），甄丰的儿子甄寻、刘歆之子刘棻制造符命，而王莽本就是依靠制造符命来篡夺皇位的，所以犯了王莽忌讳。甄丰父子以及刘棻被杀。审讯时，凡涉及者，一律收斩，不用请示。因此牵连而处死者达数百人。当时扬雄正校书天禄阁上，办案人员欲收捕扬雄。扬雄担心不免死于囹圊，从天禄阁上跳下，几乎摔死。其原因只因刘蔡“尝从雄学作奇字”，故受株连。王莽听到这件事以后，也认为扬雄不曾参与，所以发话饶了这个当年同僚的命。刻薄的文士作歌日：
“唯寂寞，自投阁；爱清静，作符命。”袭用扬雄《解嘲》中语句，嘲讽他主观上希望远离政治、追求逍遥，客观上却难以摆脱现实的矛盾。
投阁事件发生时，扬雄已六十七岁，这无疑使这个垂暮老人深受创伤。事变后，扬雄曾因病免官。不久又再诏为大夫，这可能是为了解决家境的极度贫困。本传称扬雄“家素贫，嗜酒，人稀至其门，时有好事者载酒肴从学”。家道窘贫，晚年犹甚，门庭冷落，嗜酒无钱，只有靠向人传授古文字学，来换取几坛白酒，处境十分可悲。