西汉时期,大将军霍去病的同父异母兄弟霍光被任命为光禄大夫,每当皇帝出行,霍光总跟随左右。他出入皇宫总是处处小心,事事谨慎,从不出任何差错。汉武帝十分宠信他,封他为大司马。汉武帝死后,他与御史大夫桑弘羊辅佐汉昭帝刘弗陵执政。