莱特曼出生于 [[ 印第安纳州 ]] 的印第安纳波利斯。他的父亲哈里·乔易·莱特曼(Harry Joe Letterman)是一个种花人，逝世于1974年，他的母亲多萝西(Dorothy)是一个教会秘书，也是他的脱口秀的定期出场人物。他有一个姐姐贾尼斯(Janice)和一个妹妹格雷琴(Gretchen)。莱特曼毕业于Broad Ripple中学和 [[ 鲍尔州立大学]](Ball State University)，并于1969年获得电信学学士学位。在鲍尔他曾是Sigma Chi 互助会成员。同样是在鲍尔，莱特曼在学生电台WAGO-AM 570开始了他的广播生涯。