588年3月，隋文帝下诏列举陈朝后主的罪行20条，随后集中水陆两军共计51万人，自长江上游至下游分为八路进攻。
其中，杨素指挥水军主力顺流东下，负责消灭长江及沿岸的陈军。同年12月上旬，杨素按照作战部署在长江上游发起攻势。
陈军的百余艘青龙战船坚守在地势险要、水流湍急的狼尾滩。杨素决定水陆协同，利用黑夜实施正面突破的同时，让岸边的步兵和骑兵向陈朝的守将展开两路进攻。
最终，在水陆两军的配合下一举击破了陈朝守军。杨素对俘虏的士兵采取优待政策，释放后全部放归，因此获得了很多人的好感，为之后的灭陈战争创造了有利条件。
杨素继续顺江而下，陈朝守将吕仲肃奉命屯守于长江西陵峡口。他为了激励士气，将自己的全部财产捐出充军，陈军因此斗志颇高，防御非常严密。杨素在40余次的猛攻之下伤亡惨重。
当时，陈朝士兵为了邀功，割下了隋军俘虏的鼻子。
杨素于是利用对方的残忍激怒士兵，士兵们因此拼死奋战，吕仲肃最终战败逃走。杨素对陈朝的俘虏依然不杀不辱。
后，杨素的军队士气越发高昂，继续顺江而下，势如破竹。他的优抚政策也发挥了重要作用，最终控制了整个长江上游地区，保障了下游主力的渡江作战。
因战功卓着，杨素被晋封为越国公，获益3000户，其子杨玄感被封为柱国。
隋灭陈朝统一中国后，杨素规定江南所有人，无论男女老少、贫富贵贱，都必须背诵一本名为《武教》的书籍。此书关于五种人伦道德的教育引起了广大江南百姓的不满。
再加上南方豪强对隋朝实行的限制政策本就不愿接受，便利用百姓的不满发动起义，规模达到了数万之众。
面对如此严峻的形势，隋文帝命杨素为行军总管，率军平叛。杨素于是先后击败了多股起义势力。
隋文帝后来考虑到隋军的战争时间较长，应该休养生息，便命杨素领兵回朝。然而，杨素决定继续剿灭义军，拒绝了隋文帝的诏令。
在此期间，他一共杀死和俘虏