太子杨勇被废前对种种于己不利的危险迹象颇有察觉，但只是“忧惧，计无所出”。他召新丰人王辅贤占候（造诸厌胜），在后园建造屋宇卑陋的庶人村等等，可能是因为精神压力大的原因以致杨勇经常“东宫多鬼魅，鼠妖数见”。
隋文帝知道后，派出这时有一个精阴阳、历算的萧吉主持的“东宫赶鬼”，他于宣慈殿设神坐。有回风从艮地鬼门来，扫“太子坐”，萧吉以桃汤苇火驱逐它，风出宫门而止。后来又对隋文帝说“太子当不安位”，这很对隋文帝的胃，高兴之余“赏赐优洽”。
东宫驱鬼是一场闹剧，从这场闹剧中隋文帝传递给大家的意思就是上天都认为杨勇该被废了，这对杨勇的太子地位却有着致命的打击。
看清了情形，很多人就站出来了呼应隋文帝的废太子行动。
有的是落井下石，有的是溜须拍马，有的被隋文帝安排的，.......先有杨素对杨勇的诋毁“杨勇怨恨，恐怕会生变故，望陛下深防明察”，后有太史令袁充的落井下石“我观察天象，皇太子当废黜”。
同时隋文帝开始直接地采取行动消减太子东宫的势力，如苏孝慈为太子右卫率，有文武才能和政绩，深受太子杨勇的倚重，隋文帝就把他调往外地任刺史；隋文帝还在大兴宫北玄武门到宫城东北隅的至德门之间，每隔几步就设置一个候人，来观察东宫的动静，事无巨细都要随时奏闻。
此时的杨勇太子地位已经是摇摇欲坠了。 隋文帝的废太子步伐一步一步的推进，舆论和其他都准备好了之后，隋文帝就借机把废太子的最大阻力大隋第一宰相尚书左仆射高颖罢免。
高颖一直深受隋文帝的信任，曾有人告他谋反，隋文帝把告他的人杀了，表示对高颖的绝对信任。高颖作为大隋的开国宰相从开皇元年到他被罢免的开皇十九年做了近二十年的宰相，无任是权利还是威望都是除了隋文帝本人之外的第一人。
这个在大隋帝国的重量级人物作为山东士人的领袖也是绝对的支持杨勇，而且他还与杨勇成了亲家，让自己的儿子娶了杨勇的女儿成为太子党的铁杆支持者。
隋文帝知道高颖是支持太子的，所以曾经以一种商量的口吻问高颖：“有神凭告晋王妃，言晋王必有天下，若之何”？高颖立即奏道“长幼有序，岂可废乎？”表明自己是坚决不支持废掉杨勇。
高颖身为大隋最有权势的当朝大臣，朝野威望极高，又作为太子在朝野的中坚力量，隋文帝要废太子只有把这个跟了自己几十年的高颖罢免。
（此处已添加小说卡片，请到今日头条客户端查看）
开皇十九（599）年八月隋文帝正式下诏罢免高颖的尚书左仆射职务，让他带着一个齐国公的爵位回老家养老去，这意味着杨勇的太子党在朝野的彻底失势。
高颖罢免后，虽然对于太子将被废一事已经谣言四起，但隋文帝没有立即废掉杨勇，而是在等高颖被免一事在朝堂引起的震动冷却，因朝廷的稳定才是头等大事。
