李密拥有这么大的实力，也想称帝，于是想先攻打“洛阳”，再称帝。
因为隋炀帝死后，李渊攻打下了长安，李渊尊远在扬州的隋炀帝为太上皇，立代王杨侑为皇帝，改元“义宁”。
李密就想学李渊，先占据洛阳再说，因为洛阳的王世充，推举隋炀帝的孙子，越王杨侗为帝。
可当时占据长安的隋朝的将领“王世充”，人家也不是吃素的，王世充和李密打的难解难分，李密拿王世充根本没办法。
既然李密不称帝，那么卢尚祖也不跟他玩了，转头就向王世充，谁让他手上有个傀儡皇帝，占据了“正统”的名义。
卢祖尚派使者上表归附，正式被封“光州刺史”，还加封一个“沈国公”的国公爵位。
王世充打败了李密之后，就篡位自立，国号“郑”。
王世充在称帝之前，还需要周围的势力和自己一起抵抗李密，但是李密没了，王世充也没必要和周围势力虚以委蛇。
卢祖尚看不起王世充小人得意的样子，觉得这人长不了，转头就投靠了李渊的大唐。
李渊当然乐意了，他正处在到处招降前隋官吏呢，不仅赏赐很多东西，还让卢祖尚继续当“光州刺史”。
武德四年，李世民虎牢关一战擒双王，给窦建德砍了，给王世充流放为庶民。
挡在李渊面前的两座山没了，李渊就在这个时候，加封卢祖尚为“光州总管”，就是都督，只不过叫法不一样。
除此之外，还额外再加封卢祖尚为“弋阳郡公”。
这个弋阳郡，其实就是光州，因为光州在隋文帝时期，就叫弋阳郡。
光看这个封号就说明了，李渊是以后都想让卢祖尚来管光州这地方。
但是“小伯珪”不是乱叫的，卢祖尚还在李孝恭这个“镇南大将军”的麾下，一起南下打仗，战功更是不得了，李渊就想嫁义女给卢祖尚。
但是卢祖尚的妻子不答应，他妻子是卢祖尚早年在隋朝认识的，是正儿八经的关中女子。
关中女子和男子一样，有自己的骄傲，尤其卢祖尚的妻子还是练武之人，更是骄傲的不了。
她不允许自己的丈夫有除了自己之外的女子，不然就别过了。