他沿途秘密招见康居贵族屠墨，向他展示汉军军威和信誉，并与他饮酒立誓订立盟约。
陈汤并没有直接率军到郅支单于城下，而是在离城六十里处安营扎寨，又捕获了康居贵族贝色子的儿子开牟，并让其做向导带路。
贝色子为屠墨母亲的弟弟，他们都怨恨郅支单于，于是向汉军介绍了郅支单于的情况。
次日，陈汤他们进军至单于城三十里处扎营。
单于遣使询问汉军此行的目的，汉军告诉他，单于曾向汉朝上书愿意归附并入朝拜见汉朝皇帝，
皇帝怜悯单于离开大国故地屈居在康居国，便让都护将军来迎接单于，害怕惊扰单于，便没有让进军到单于城下。
这样往返数次传达情况，甘延寿和陈汤责怪使者，我们远道来迎接单于，
但至今没有人来拜见将军商议正事，单于怎么能忽略大事丢掉了宾主的礼仪呢，
如今我们粮草将用尽无法返回，请单于与大臣商议出一个办法。
第二天，大军直达单于城下，在距城三里处安营布阵观察情况。
只见城头彩旗飘扬，数百名披甲士兵登高戒备，还有百余名骑兵在城下驰骋，
百余名步兵在城门两侧结鱼鳞阵，城上之人还挑逗汉军来战，有百余名骑兵冲向汉军营地，
被汉军以弓弩逼退，随后又以弓弩射向城门口的骑步兵，他们退入城中。
甘延寿与陈汤命令部队听到进军的鼓声就冲到城下将城包围，各部队严守自己的位置。
然后穿过堑壕，堵住城门，卤盾兵在前，戟弩兵在后，用弓箭仰射城上守军，守军不敌撤下城去。
匈奴土城外还有一重用木头修建的城池工事，射手躲在里面向外射击，给汉军的进攻部队造成较大伤亡，被汉军用火焚毁。
夜间，城内有几百骑兵向外冲杀，被汉军迎面射杀。
最初，郅支单于听到汉军来时，想要逃跑，但担心康居人对他怀恨在心，
可能会做汉军内应，又得知乌孙等国也派兵参战，便觉无路可走。
已逃走的郅支单于又返回城内，认为不如据城坚守，汉军远来必不可久攻，
他披甲亲自守在城上，他的数十个阏氏夫人也持弓箭参战。