刘渊回到左国城，被刘宣等人尊为大单于。短短二十天，刘渊就招集了五万余众，集中于离石（今山西离石县）。26
这时，王浚派部将祁弘率领鲜卑兵攻打邺城，司马颖迎战失利，遂挟惠帝南奔洛阳。刘渊闻讯，说：“司马颖不听我的劝告，稍败就向洛阳奔逃，真是个奴才。但我与他先有许诺，不能不去救援。”于是命令右于陆王刘景、左独鹿王刘延年等率步骑二万，准备进攻鲜卑。刘宣等人再三进谏，劝刘渊起兵灭晋。刘渊深以为然，激愤地说：“对！大丈夫在世，当如崇山峻岭，岂能甘为蝼蛄！哪有帝王之运长在一姓之理？大禹出自西戎，周文王生于东夷，他们之所以为王，只是有德罢了。而今我有部众十余万，皆能以一人当晋十人，击鼓而摧毁乱晋，必将摧枯拉朽。上可以成汉高帝一统天下大业，下可以像曹氏拥有半壁河山。只是恐怕晋人未必都能拥戴我。不过，汉朝长期统治天下，恩德深入人心，所以昭烈皇帝（刘备）树立汉家旗号，以一州之地而能与曹氏抗争。我是汉朝刘氏的外甥，与刘氏约为兄弟，兄亡而弟承，难道不可以吗？姑且称国号为汉，追尊后主（刘禅），以招抚民心。”于是下令迁都于左国城，远方来归