元光二年，汉武帝听从王恢之言，在马邑城两旁的山谷中埋伏重兵，意图围歼匈奴，
李广任骁骑将军，受护军将军韩安国统领节制。
但因匈奴发觉了汉军的计谋，大军无功而返。
元光五年，李广由卫尉被任为将军，出雁门关进攻匈奴。
李广战败，被匈奴生擒。
当时，李广受伤很重，匈奴骑兵就把他放在两匹马的中间，装在绳编的网兜里躺着。
走十多里路后，李广假装死去。
他斜眼看到身旁的匈奴少年骑着一匹好马，于是突然纵身一跃，跳上了匈奴少年的马，并趁势夺了他的弓，
之后，李广打马向南飞驰数十里，重遇残部，并带领残部进入关塞。
回到京城后，朝廷把李广交给执法官吏。
官吏认为李广损失重大，又被敌人活捉，应当斩首，李广用钱物赎了死罪，削职为民。
赎为庶民后，李广和已故颖阴侯灌婴的孙子灌强一起隐居在兰田，常到南山中打猎。
一天夜里，他带着一名骑马的随从外出，与人在田野间饮酒。
回程走到霸陵亭时，霸陵尉喝醉了，对李广大声喝斥，并禁止其通行。
李广的随从说他是前任李将军。亭尉则言，现任将军尚且不许通行，何况是前任。
随后扣留了李广，让他夜宿霸陵亭下。
元朔元年，匈奴入侵杀死了辽西太守，韩安国将军战败，被迁调到右北平，数月后病死。
因此，汉武帝又召见李广，任他为右北平郡太守。
李广随即请求派霸陵尉一起赴任，到了军中，就杀了霸陵尉。
匈奴听说李广驻守右北平后，称他为“汉朝的飞将军”，数年不敢侵犯。
石建去世后，汉武帝召见李广，让他接替石建任郎中令。
元朔六年，李广被任命为后将军，跟随大将军卫青出塞征伐匈奴。
许多将领因战功被封侯，但李广的军队却没有战功。
“元狩二年，李广以郎中令官职率领四千骑兵从右北平出塞，博望侯张骞率领一万骑兵与李广一同出征，分行两路。”