侩等均举兵反隋，自称天子，署置百官。蒋山(今南京钟山)李忮、乐安(今浙江仙居西)蔡道人、温州沈孝彻、泉州(治今福州)王国庆等，都自称大都督，起兵攻陷州县，反乱大抵遍及原陈属地。其规模大者数万人，小者数千人，互相呼应，残杀隋朝官吏。面对如此严峻的形式，隋文帝遂命杨素为行军总管率军平叛。
杨素率军由杨子津(今江苏扬州南)渡江，首先击破叛军朱莫问(自称南徐州刺史)于京口(今江苏镇江)。继而击败晋陵(今江苏常州)顾世兴，顾世兴率其都督鲍迁等再战，杨素击破之，俘鲍迁以下3000余人。又进击无锡叶略，平之。时沈玄侩、沈杰等等正围攻苏州，刺史皇甫绩屡战不利，杨素军赶到将其击败，沈玄侩逃至南沙人陆孟孙处，杨素进击陆孟孙于松江，大破之，生擒陆孟孙、沈玄侩。黟、歙叛军沈雪、沈能据栅自守，又攻拔之。
高智慧(自称东扬州刺史)率部据守浙江(今钱塘江)东岸营垒，屯据要害，周围百余里，船舰千艘，遮盖江面，鼓噪而进。子总管来护儿建议：“吴人累锐，利在舟楫。必死之贼，难与争锋。公且严阵以待之，勿与接刃，请假奇兵数千，潜度江，掩破其壁，使退无所归，进不得战，此韩信破赵之策也”(《北史·来护儿列传》)。杨素纳其言，并命其率轻型战船数百艘，偷渡浙江，以奇兵突袭，并焚烧高智慧后方营垒，使其恐惧不安；杨素则乘机率军从正面突击，大败高智慧军。尔后，杨素派行军总管史万岁率军2000人进攻婺州，自率主力由海道追击逃入海中的高智慧，直趋温州。高智慧来战，杨素将其击败，俘数千人。而后又平定蔡道人、汪文进。杨素在温州击败沈孝彻后，便由陆路转向天台、临海(今属浙江)，继续追击反隋散兵，前后战斗达100多次。高智慧退守闽、越。
此时隋文帝考虑到隋军长时间征战，便诏令杨素入朝。同时加其子杨玄感为上开府，赐彩物三千段。而杨素则认为：“余贼未殄，恐为后患”(《隋书·杨素列传》)，便上书请求暂缓返京，继续剿匪。隋文帝对杨素此举非常赞赏，便下诏说：“朕忧劳百姓，日旰忘食，一物失所，情深纳隍。江外狂狡，妄构妖逆，虽经殄除，民未安堵。犹有贼首凶魁，逃亡山洞，恐其聚结，重扰苍生。内史令、上柱国、越国公素，识达古今，经谋长远，比曾推毂，旧著威名，宜任以大兵，总为元帅，宣布朝风，振扬威武，擒剪叛亡，慰劳黎庶。军民事务，一以委之”(《隋书·杨素列传》)。杨素继续率军由会稽(今浙江绍兴)走海道向泉州追击。
时泉州人王国庆为南安豪族，杀刺史刘弘，据州为乱，各处逃亡的叛军皆附于他。王国庆自以为海路险阻，而隋军多为北方人，不习海战，遂不设防。杨素率水师从海道掩至，王国庆大惊，弃州逃跑，其众或入海岛，或守溪洞。于是杨素分遣诸将，水、陆分进追捕。并派人密劝王国庆：“尔之罪状，计不容诛。唯有斩送智慧，可以塞责”(《隋书·杨素列传》)。王国庆遂抓获高智慧，送交隋军，杨素将其斩首，余众全部投降，至此，江南全部平定。此战，杨素辞谢回朝休养诏令，坚持除恶务尽，连续追歼彻底平定江南之乱，对巩固隋朝统一，发展生产具有积极作用。隋文帝派左领军将军独孤陀迎至浚仪犒劳隋军，待回京后，问者日至。隋文帝再封杨玄奖为仪同，赐黄金四十斤，加银瓶，实以金钱，缣三千段，马二百匹，羊二千口，公田百顷，宅一区。
开皇十二年(592年)十二月，杨素代苏威为尚书右仆射，与尚书左仆射高颎同掌朝政。
杨素性疏而辩，朝臣之中，颇推高颎，敬牛弘，厚接薛道衡，蔑视苏威。其余的大臣民，多被其凌轹。其才艺风调，优于高颎，至于治理国家，则远不如高颎。
开皇十三年(593年)二月，隋文帝在岐州之北建仁寿宫，令杨素监造。杨素奏请莱州刺史宇文恺检校将作大匠，记室封德彝为土木监。杨素为巩固其政治利益，讨好隋文帝，遂“夷山堙谷以立宫殿，崇台累榭，宛转相属”。又“役使严急，丁夫多死，疲屯颠仆，推填坑坎，覆以土石，因而筑为平地。死者以万数”(《资治通鉴·卷第一百七十八》)。
开皇十五年(595年)三月，仁寿宫建成，隋文帝至仁寿宫。时值天热，“役夫死者相次于道，杨素悉焚除之”(《资治通鉴·卷第一百七十八》)。其残暴程度令人发指。此前隋文帝先派高颎前去视察，高颎据实回报：“颇伤绮丽，大损人丁”(《隋书·杨素列传》)，隋文帝心中不悦。待隋文帝至仁寿宫，见宫殿如此奢华，大怒道：“杨素殚民力为离宫，为吾结怨天下”(《资治通鉴·卷第一百七十八》)。杨素惶恐无比，担心受责备，一时束手无策，便向封德彝请教。封德彝为人邪辟，多阴谋，便对杨素说：“公勿忧，俟皇后至，必有恩诏。”杨素即于北门拜见独孤皇后说：“帝王法有离宫别馆，今天下太平，造此一宫，何足损费” (《隋书·杨素列传》)！次日，隋文帝果召杨素问之，独孤皇后则在傍为杨素辨解：“公知吾夫妇老，无以自娱，盛饰此宫，岂非忠孝”(《资治通鉴·卷第