十歲時父母離異，十一歲父親再娶。或許是家庭教育關係造就了他憂鬱閉塞的個性。有一次考試考了一科紅字，因害怕父親鞭打竟從桂林路步行到建國南路投靠母親，享受了兩天難得的母愛。但父親強權的個性硬是讓媽媽把薛岳送回家去。母親離去，小薛岳縮在屋角，恐懼地等待時間，等待時間一點點地移向父親下班歸來。天漸漸暗去，他縮坐著不敢挪動身體，愈來愈濃的恐懼使他自覺尿都要被嚇出來，也幾乎癱倒地上。父親終於回來，竟然未說什麼。薛岳一夜未能熟睡，時時驚醒時時夢魘。第二天，父親用一整個上午對他施以責罵痛打。大哭父親不許，出手更重，死忍住不哭出聲父親又認為他使性子，更要打！幾個鐘頭下來，薛岳被恐懼與疼痛折磨到神智不清，連挨打都沒有了反應，這時，父親突發奇想，叫薛岳的大姊麗霞去取剪刀與紗布來，他要剪下薛岳的耳朵！以教訓他的背叛行為。那年正讀高中的麗霞不敢抗命，取來剪刀紗布，但，平時對父親也甚為畏懼的麗霞突然生出莫大的勇氣，她跪在地上向父親求情，父親當然不允，最後，麗霞居然向父親求說，請父親剪了她的耳朵吧！她願意替代弟弟。 也許因為這樣父親良心譴責，讓薛岳逃過浩劫，麗霞也沒有受罰！大姊對薛岳的疼愛由此可見。

十六歲考上從右企專，後來轉學到醒吾商專。在那個時期由於大姊的緣故加入陽光合唱團，抽菸也是那個時期學會的。