高樹，渤海蓚(今河北景縣)人。祖父高湖，後燕大臣，慕容寶敗，高湖率眾投靠北魏，為右將軍.高樹的父親是高湖的第三子高謐，官位至侍御史，犯法徙居懷朔鎮。
高樹性通率，不事家業。居住在白道南。《北齊書》記載高樹家有赤光紫氣之異，鄰人非常奇怪，勸高樹徙居以避之。高樹回答:"怎麼知道這不是一件吉兆?"居之自若。
高樹生子高歡後妻子韓氏去世，高樹將高歡交於自己的女婿即高歡同產姊夫鎮獄隊尉景撫養。高歡的兒子高洋建立北齊，追尊高樹為文穆皇帝。
