954年，柴荣继承了后周皇位，是为周世宗。当时的赵匡胤是禁军大将，很多官员巴不得与他攀上关系。曹斌在此期间做过柴荣的亲信，主要掌管茶酒等用品。
赵匡胤曾向曹斌要酒，但曹斌并未以此讨好，而是直接拒绝了赵匡胤的要求，认为公家物品不能随意送出。
赵匡胤因此非常敬佩曹斌的秉公无私，曾经多次对他宴请。不过曹斌若非公事，从不登门。
后来他被改授为潼关千军，然后又升任为西上阁门使。958年，他奉命出使吴越国，吴越君主对他人品特别敬佩。
在他即将回朝之时，赠予他大量财物。曹斌经过再三推辞，只能接受。
不过回朝之后，他全部登记送给官府。柴荣曾把这些财物赐还给他，曹斌于是全部分给亲朋好友。
他在出任晋州兵马都监的一天，正与其他将领在野外谈事，护佑使者送来书信。结果曹斌的穿着非常朴素，根本看不出皇亲国戚的气质，信使经过多次确认才敢递交信件。
在五代十国那个混乱年代，皇帝的更迭极为频繁，人们不敢想象自己明天的命运将会如何。
所以大多君臣只顾着怎样捞钱，而曹斌在当时绝对是难得的一股清流。
公元960年，赵匡胤发动陈桥兵变，掌握了后周政权，并将国号改为大宋。曹斌于次年归赵，赵匡胤问他当年为何有意疏远他。
曹斌回答：“作为后周的近亲，更要端正做官，所以不敢妄自结交，以免招来非议。”
赵匡胤对于他的回答非常满意，于是委以军事重任，并在963年受任为左神武将军。
赵匡胤虽然建立了大宋，但在当时依然存在着后蜀、北汉以及南唐等政权。赵匡胤于是在964年下诏伐蜀。身为都监的曹斌曾经下令诸将收敛部下，坚决禁止屠害百姓的行为。
赵匡胤为此特地下诏褒奖。但是后蜀灭亡之后，一些将领开始不停地掠夺百姓，对于曹斌的劝说一概不听，结果导致后蜀的旧将迅速聚集了十几万人对抗宋军。
虽然曹斌平定了此次战乱，但也造成了很多不必要的损失。众将在回朝之后均被治罪，只有曹斌受到了赵匡胤的嘉奖。
9