，惹得杨勇很愤怒，杨素回去向杨坚汇报说：“太子有怨恨的心意，应该对他加以提防。”
隋文帝与独孤后都派人去监视杨勇，隋文帝命令将太子宫中健壮的卫士全部调走，晋王杨广贿赂太子宫中的臣子姬威，将窥探到的杨勇的动静，报告给杨广与杨素，杨广对姬威说道：“皇上决定废掉太子，如果你举报太子，将获得重赏。”姬威答应了。
姬威举报说：“太子说过，皇上将在开皇十八年去世，等他做了皇帝之后，将杀死一百个人来报复。”
隋文帝流着泪说道：“哪里有儿子这样诅咒父母的？”下令拘禁杨勇，将杨勇身边的几位辅佐官员捉拿，命令杨素审问杨勇。
姬威举报杨勇养了一千匹马，姬威说杨勇计划派兵马守住城门，饿死杨坚。当杨素追问杨勇养马的目的是否是准备造反时，杨勇反问道：“你家中养着数万匹战马，我作为太子，为什么不能养一千匹马呢？”
杨勇被软禁在东宫之后，他想见到隋文帝伸冤，始终没有机会，他爬上院子中的高树之上，大声朝着皇宫的方向呐喊，希望隋文帝能够听见自己的声音。杨素对杨坚说道;“杨勇的神经已经癫狂，不需要再见面。”隋文帝听信了杨素的话，父子再也没有见过面。