杨素在杨坚麾下，参加了灭南陈、战突厥，一统天下的战争。在众多能臣名将之中，公认杨素军功第一。

604年，杨坚驾崩，太子杨广继位，杨广第一件事请就是诛杀也在京城的亲哥杨勇（被废的太子），囚禁了弟弟杨秀。幼弟杨谅此时在并州任总管，闻讯造反。

杨素在隋文帝后期是隋文帝身边最依仗的近臣之一，官拜荆州总管，封越国公，掌握京城禁军，是杨广登基的主要支持力量。

杨广找杨素商议，如今杨谅反叛，如何是好？

杨素道：“杨谅只有数州之地，需立刻出兵，遏制其发展势头，让各处观望势力不敢轻举妄动，同时从各州县调兵，做好全面进攻的准备。”

杨广点头赞同，问道：“派谁领兵出战。”

杨素答：“杨谅地位高贵，别人领兵恐威望不足，只有我亲自领兵才有把握。”

杨广有些慌神，说道：“当今京城全靠将军坐镇调度，将军若是亲自出征，京城出事怎么办。”

杨素答道：“圣上放心，我此次出战，若要达到上述目标，只需几天就可。”杨广心中稍安。

杨谅造反后，命蠕蠕天保占领了蒲州（河东郡）城，此城距离长安仅三百多里，成为对抗京城的前哨。为了稳固阵线，杨谅命令烧断通往京城的渭水河桥，又派王聃子率领几万人与他合力防守。

杨素率领五千轻骑立刻出征，杨素先隐蔽在渭口，夜间悄悄渡河，黎明时发动进攻，蠕蠕天保大败而逃，王聃子因害怕而开城投降，杨谅对抗京城的前哨阵地被拔除。

杨广见到战报大喜，杨谅的势头已被遏制，立刻下诏书召回杨素。此后，从各州县调兵也都陆续到位。

随后，杨广又拜杨素为并州道行军总管、河北安抚大使，率领五万大军讨伐杨谅，并命令沿途各个州县全权听从杨素调遣。