李旦、太平公主都是明德孝顺的儿女，为什么不允许他们来侍奉陛下呢？请不要让张昌宗、张易之这样的外人进出。”武则天不听。
张昌宗仗着武则天的宠爱，百官的奉承，竟然有些头脑发昏，相士李弘泰对张昌宗说他有天子之相，张昌宗竟然相信了，有人举报张昌宗，武则天一生最忌讳的就是谋夺她的位置，张昌宗这样的男宠也不例外，武则天下令，由张昌宗最忌怕的司法官宋璟负责审理张昌宗谋反案件。
在审讯的过程中，张昌宗狡辩说：“李弘泰算卦的事情，我已经向陛下禀告过，应该按照自首来处理。”
宋璟说道：“张昌宗已经收到最高的宠爱显贵，还要请来相士，他祈望的只能是最高的皇帝宝座。李弘泰说他的卦是天子之卦，他为什么不拘捕李弘泰送官，张昌宗有非分之心，是很明显的，依法应该斩首。”
武则天不忍心将张昌宗处以极刑，毕竟还能给自己带来快乐的，武则天下令停止对张昌宗的审查，并将宋璟安排到外地任职，不再审理张昌宗的案子。
705年，武则天病情加重，张易之、张昌宗在宫中操权，宰相张柬之与一些大臣在一起商议，打算除掉张氏兄弟。
张柬之对大将军李多祚说道：“将军的荣华富贵，是谁给的？”
李多祚答道：“是高宗（李治）给的。”
张柬之问道：“高宗的两个儿子（中宗李显、睿宗李旦）被张氏兄弟危害，将军不想高宗的恩德吗？”
李多祚答道：“只要对于国家有利，我就听从相公你的指示，不敢为自己的妻子、子女打算。”
名臣姚崇从灵武回京，张柬之将计划告诉姚崇。他们又联络了其他一些大臣、将军，并且将计划密报给太子李显。
元月二十二日，张柬之带着五百多名羽林军来到玄武门，派遣大将军李多祚等人率军队迎接太子李显，李显有些犹豫，众人说道：“先帝将天下交给殿下，殿下无故遭到罢黜，天人共愤，已经忍了二十三年了，现在南牙、北牙的禁军都一心一意，希望光复李家的江山，殿下不能辜负大家的期待。”李显这才出来。
大家簇拥着太子，来到玄武门，士兵破门而入，在迎仙殿的走廊，遇到张易之、张昌宗，将二人当场杀死，然后，包围了宫殿。
武则天已经不能行动了，她问道：“外面是谁在作乱啊？”
张柬之进殿答道：“张易之、张昌宗计划谋反，我们奉命诛灭反贼，因为担心泄露消息，事先没有向太后禀报。”
武则天叫李显进去，说道：“你这个小子，既然已经除了反贼，为什么还不会到太子宫？”
张柬之说道：“太子不能再回去了，当年高宗将太子委托给陛下您，现在，太子已经成年，万民拥戴，大家思念太宗、高宗已久，所以才会拥立太子，铲除奸贼张易之、张昌宗，请陛下传位给太子，以顺应万民的心愿。”
武则天看到将军李湛，说道：“你就是杀死张昌宗的将军呐，我对你不薄，你居然逼迫于我。”李湛不敢看武则天的脸。
武则天接着对崔玄玮说道：“别人都是经过大臣推荐得到提拔的，你是我直接提拔升职的，你怎么也参加呀？”
崔玄玮答道：“我们就是在报答陛下的大恩的。”
张柬之下令，收捕张昌宗家族的其他人，二十四日，武则天正式下诏退位，李显再次登基，就是唐中宗。