巴迪·霍利作為家中第四個也是最小的孩子，霍利被他的母親暱稱為“巴迪”。《霍利》是他 原 姓氏的 改 變形 式 ， 後來 因 為在 他的第一份唱片合約中 的 拼寫錯誤而產生。 霍利從小就學會了彈鋼琴和小提琴，而他的哥哥則教他吉他的基本知識。一部1949年的“My Two-Timin'Woman”家庭錄音展示了霍利嫻熟的青春期前的歌聲。霍利的父母是裁縫，都非常支持他們兒子的音樂天賦，甚至還寫了一封信給Lubbock報紙的編輯，以支持愛好搖滾樂的青少年。有一次當地浸信會教堂的傳教士問霍利：“如果你有10美元，你會怎麼做？” 據報導，這位年輕的搖滾歌手喃喃自語，“如果我有10美元，我就不會在這裡。” 霍利顯然已將目光投向了其他事物，而不是長大後加入他的兄弟們從事瓷磚事業。