与此同时，凉州长史张玺等人表奏张寔代理张轨的职务。张轨的亲信部下及后拥立张寔继任了凉州牧之职。十月，司马邺下诏授任张寔为持节、都督凉州诸军事、西中郎将、凉州刺史、领护羌校尉、西平公。
建元元年（315年）冬天，兰池长赵奭的上军士张冰得到的一方玺，上面有“皇帝玺”字样，献给了张寔，僚属们都来祝贺。张寔说：“孤常常恼恨袁本初举印向肘之事，诸君为何说这样的”于是把玺送往长安。
建元二年（316年）四月，张寔下达命令：所属的官吏、百姓有能指出自己过错的，奖赏给布帛、羊、米。贼曹佐高昌人隗瑾说：“您处理政事，事无巨细，都是自己来决断。同年八月，刘曜进逼长安，张寔派将军王该率军救援京城。司马邺嘉赏他，拜任都督陕西诸军事。司马邺将要投降刘曜时，下诏给张寔说：“国运困厄，灾祸降临到晋室，京城倾覆陷落，先帝在贼朝中去世。朕漂泊于宛、许，于是到了旧都。
同年12月11日司马邺降于汉赵大司马刘曜，临降前下诏给张寔：“仰惭乾灵，俯痛宗庙。君世笃忠亮，勋隆西夏，四海具瞻，朕所凭赖。今进君大都督、凉州牧、侍中、司空，承制行事。琅邪王宗室亲贤，远在江表。今朝廷播越，社稷倒悬，朕以诏王，时摄大位。君其挟赞琅邪，共济难运。若不忘主，宗庙有赖。明便出降，故夜见公卿，属以后事，密遣黄门郎史淑、侍御史王冲赍诏假授。临出寄命，公其勉之”寔以天子蒙尘，冲让不拜。[20]
迅速崛起
建武元年（麟嘉二年，317）正月，张寔得知刘曜强迫司马邺迁徙，聚哭告哀三天，派遣太府司马韩璞、灭寇将军田齐、抚戎将军张阆、