李广虽然逃出虎口，可是沙场失利，按军法是要砍头的。所幸汉武帝体念他过去立了不少战功，又是难得的勇将，不忍心将他处死，只撤除了他所有的职务，以示惩戒。
赋闲这段时间，李广经常和颍阴侯灌婴的孙子灌强到蓝田的山里打猎。有一次，李广很晚才回到霸陵亭，谁知霸陵尉喝醉了酒，吆喝着拦下李广，不准他通行。
李广的随从上前理论：“你知道这位是谁吗？他就是前任的李将军。”
“就是现任的将军也不准通行！何况是‘前任’的将军？”醉醺（xūn）醺的霸陵尉硬把李广主仆扣留下来。
没过多久，匈奴攻进关内，杀死了辽西太守，满朝文武官员束手无策，只得紧急征召李广回来。
匈奴听说李广要来镇守右北平，吓得连忙逃之夭夭，几年之内都不敢踏进右北平一步。
李广对待部属，就像兄弟一般，如果得到赏赐，一定均分给部下；日常饮食也和兵士们相同，偶尔饮水或食粮缺乏，非得每个兵士都有得喝、有得吃了，他才吃喝，绝不肯先享用。因此兵士们都很爱戴他，愿意为他效命。上阵对敌时，不论情况多紧急，他总能保持镇定。除非有十分把握，绝不轻易射箭；一旦射出，敌人必定应弦倒地，箭无虚发！
元朔六年，李广随大将军卫青出兵到定襄。这次出征，大多数随行的将领都因立下战功而被封侯，或得到丰厚的赏赐，只有李广这支部队没有军功，得不到封赐。