而且交州这地方是李世民的伤心之地，因为前交州都督李寿，李世民还被银青光禄大夫“魏征”足足骂了好半天，魏征一句“君子远庖厨”骂的李世民都不敢还嘴。
李世民就必须安排一个清官、能臣去治理当地，一是向魏征证明，自己还是识人的，李寿是意外，我不是昏君。
二是当地百姓被李寿霍霍的差不多了，再不去个清官能臣，当地百姓该造反了。
所以李世民根本不同意换人，必须要这个卢祖尚去。
卢祖尚就上书说：自己有旧疾，岭南是瘴疠之地，去那里必须每天喝酒，而自己又不善饮酒，一旦去了就不能活着回来了，因此不能赴任。
李世民没办法，只好派房玄龄拿着圣旨去，圣旨！不是敕令。
按理说，圣旨都下来了，你总不能不去吧？
可卢祖尚当场，拒绝了，就不去。
李世民这时候已经有点生气了，他还是头一次遇到，有人敢违抗圣旨了，当场杀了都不过分。
但是房玄龄却劝李世民，说这个卢祖尚是个人才，杀了可惜，而且卢家在北方的名望不小，大唐很多官员都是卢家人，或者和卢家沾请带故的。
李世民就让司空卢贲去劝，这是你们卢家人，还是你卢贲举荐的，现在不去任职，你必须解决。
卢贲去了之后，好一顿劝导和安抚，还带着自己的孙女去，这是给皇帝弹琵琶的，现在给你弹琵琶听，你多大面子啊！
可是卢祖尚早年闯荡江湖的脾气上来了，就是不答应，大不了不当这个官了，去闯荡天下也行，反正我“幽州小伯珪”的名号在江湖也是响当当的。
司空卢贲这会儿肠子都悔青了，自己当初举荐谁不行？非要举荐这么个犟种？
但这是没办法的，因为交州这地方很特殊，如果举荐一些平庸之辈，李世民也看不上，必须这样文武全才，还为官清廉的人，李世民才放心。
卢贲最终和卢祖尚保证，只需要他干三年，三年后，卢贲向皇上举荐别人去替换他。
按理说，你拒绝圣旨，皇帝不杀你。三公之一的司空来亲自请你，专门给皇帝弹琵琶的给你弹琵琶，还保证只需要干三年