霍去病之父霍仲孺是平阳县的[[ 衙役]] ，與[[平陽公主 (漢景帝)|平阳公主]]的奴婢[[衛少兒]]（为[[卫子夫]]、[[平陽公主]]的丈夫[[衛青]]的姐姐）[[ 私通]] ，生下了霍去病。后霍仲孺回乡另外娶妻，生下[[霍光]]。霍去病的[[ 姨母]] 卫子夫被[[汉武帝]]看中入宫，数年后受到漢武帝寵愛生皇长子[[刘据]]而被立为[[皇后]]，卫氏家族从此平步青云。因為漢武帝愛屋及烏，霍去病於16、17岁时出任負責保卫[[ 皇帝]] 安全的[[侍中]]官，於18岁时随[[ 舅]] 卫青出征。