开皇元年(581),杨坚称帝建立了隋朝,而他早就欣赏韩擒虎,于是即位不久便封其为庐州总管,负责准备南征事务。开皇八年(588),一切准备停当后,隋朝正式南征,在江北经营多年,熟知情况的韩擒虎被委任为前锋,史载,他"率五百人宵济,袭采石,守者皆醉,擒遂取之。进攻姑熟,半日而拔,次于新林。江南父老素闻其威,来谒军门,昼夜不绝。"
就这样,韩擒虎凭借武勇、智谋和望着,很快就势如破竹地攻取了陈朝的大批城池,最终,韩擒虎仅靠五百精锐骑兵就冲进朱雀门,活捉了陈朝后主。隋文帝杨坚为了表示对韩擒虎、贺若弼的嘉奖,专门连下两道圣旨,称赞道:"平定江表,二人之力也",并表示:"相思之甚,寸阴若岁",此战过后,韩擒虎被封为上柱国,赐物八千段。
一次,突厥派使臣前来,隋文帝杨坚问他们,是否听说过曾经有一个陈朝,突厥使者回答听过后,杨坚叫来韩擒虎,向他们介绍说这就是灭亡陈朝的人,而韩擒虎狠狠瞪了他们一眼,就使得"突厥惶恐,不敢仰视。" 开皇十二年(592),韩擒虎以寿光县公的爵位去世,享年五十五岁。