中平五年（188年），朝廷正式任命刘虞为幽州牧。并下诏发南匈奴兵，跟随刘虞讨伐张纯。结果南匈奴发生内乱，单于被杀。 [30] [41]刘虞到达蓟县，精简了部队，广泛布施恩惠，派遣使者告峭王等人朝廷将宽大处理，可以免除他们犯下的罪责，又悬赏通缉张举、张纯二人。丘力居等人听说刘虞到了，纷纷派遣使者前来沟通归附之事。张纯二人逃到塞外，其余的也或降或散。公孙瓒担心刘虞立功，暗中派人在途中暗杀这些使者。外族得知此事后，便绕道到刘虞处。 [6] [29]
中平六年（189年）三月，张纯被手下王政杀死，首级被送到刘虞处。 [4]汉灵帝刘宏派使者升刘虞为太尉，封容丘侯。 [5]刘虞先是推让，并举荐卫尉赵谟、益州牧刘焉、豫州牧黄琬、南阳太守羊续担任此职，但刘宏最终还是拜刘虞为太尉。 [6] [8]