次年正月，司马师升任大将军，兼任侍中，录尚书事，持有节仗，统率朝廷内外军事。
至此，司马师完全接替父亲司马懿执掌曹魏军政大权。
司马师主政后，命令百官举荐人才，明确朝中尊卑，体恤穷苦之人，清理颓废无用的官员；
他任用诸葛诞、毌丘俭、王昶、陈泰、胡遵等军事将领统率四方军队，又任用官员邓艾、州泰、王基等人治理州郡，同时让钟会、夏侯玄、孟康等人参与朝议之事，一时之间朝野整肃、四方安定。
嘉平四年（公元252年）四月，吴国皇帝孙权病逝，魏国意欲伐吴。
镇东将军诸葛诞建议司马师集中兵力，进攻江陵（今湖北省江陵县）和武昌（今湖北省武汉市），以扼制吴国的上流。
司马师没有采纳。同年十二月，司马师兵分三路伐吴，令征南大将军王昶进攻南郡（今湖北省荆州市），镇南将军毋丘俭进兵武昌，诸葛诞与征东将军胡遵率军七万大军进攻东兴（今安徽省含山西南方）；
司马昭以安东将军的职位担任监军。吴国太傅诸葛恪率军四万人昼夜兼程，救援东兴，击败诸葛诞、胡遵的军队，王昶、毋丘俭听说东兴兵败，各自烧毁营寨撤退。
东兴兵败，朝臣议论纷纷，认为应该贬黜相关将领。司马师表示是因为自己没有听从诸葛诞集中兵力的建议，才导致兵败，与诸位将领无关。
司马师为了稳定人心，宽恕其他将领的罪过，只是削减了司马昭的爵位。
嘉平五年（公元253年）四月，吴国太傅诸葛恪率大军二十万进攻淮南，围困合肥新城。
朝中大臣忧心忡忡，担心吴军分兵进攻淮泗地区，应该派兵多处防守。
司马师认为诸葛恪刚刚执掌吴国朝政不久，为稳定自己的权力，一定会急于取得胜利，集结兵力攻打合肥新城，
不会分兵进攻，于是让毌丘俭与扬州刺史文钦率领重兵，在合肥新城抵抗诸葛恪的进攻；诸葛恪久攻不下。
毌丘俭、文钦请求率军出战，司马师认为诸葛恪的军队轻装远征，身处绝境，其战斗力一定很强，不宜出城交战；
合肥新城小而坚固，应该据城坚守，以消耗敌军。司马师于是命令诸将，深沟高垒