海菲兹1901年出生于沙皇统治下的立陶宛，父亲是首都维尔纽斯交响乐团的小提琴手。当海菲兹3岁时，父亲往他手里塞了一把小提琴，这就算是举行了最简洁的授徒仪式。

父亲教了两年后便对琴技进展神速的儿子感到束手无策了。于是海菲兹被送入了维尔纽斯音乐学院师从马尔金教授学琴。在正规的学校教育环境中海菲兹的进步更为惊人。一年后，海菲兹便在音乐会上成功的演奏了门德尔松的协奏曲，一时间，“天才”、“神童”的桂冠纷纷落到了这位年仅6岁的孩子头上。为了进一步提高和深造。奥尔慧眼识才，自然愿意亲自培养这个孩子。怎奈沙皇的法律严禁犹太人入住圣彼德堡 ，况且学校也从未招收过如此年少的琴童，这可难煞另外海菲兹父子。所幸奥尔惜才如命，为此事积极与身为学院院长的著名作曲家格拉祖诺夫斡旋，方才解决了这道入学难题，那就是将父子俩双双招收入校，做奥尔大师的学生，其时海菲兹的父亲已年逾四十。